Reflection 開源 Beam：501B 參數 MoE，Apache 2.0，每 token 僅啟用 23B
Hugging Face Blog · 2026-10-16
Reflection 以 Apache 2.0 釋出 Beam-1.0-501B-A23B，一個總參數 501B、每 token 只啟用 23B 的稀疏 MoE 模型，授權沒有蓋在「只能用不能改」的自訂條款之下。這是該實驗室的第一個模型，BF16、FP8、NVFP4 三種檔案同日上架，並在 transformers>=5.20.1、vLLM、SGLang 有第零天支援。
背景
過去能在自家硬體上跑的開放權重模型，要嘛規模小、要嘛授權帶限制。Beam 的模型卡寫明授權為 apache-2.0，並表示「不禁止」蒸餾、微調、量化與合併，只另附使用政策，且聲明不修改或限制授權本身。訓練資料只描述為公開與合作夥伴授權來源，token 數與算力模型卡未公布，文章也沒有連結論文。
核心改動：架構
Beam 共 52 層，前 3 層為 dense SwiGLU，其餘 49 層為 MoE，每層 256 個專家、每 token 路由 8 個，沒有共享專家；專家占總參數 98.4%。路由沿用 DeepSeek-V3 的分組限制方案。真正省記憶體的是注意力設計：48 個 query head 搭配 8 個 KV head，52 層中 43 層用 512 token 的滑動視窗，只有 9 層看完整上下文。
| 上下文長度 | Beam 每序列 KV cache（BF16） | 若全為全域注意力 |
|---|---|---|
| 32K | 1.2 GiB | 6.5 GiB |
| 128K | 4.6 GiB | 26 GiB |
| 1M | 36.08 GiB | 208 GiB |
每 token 的 KV cache 約 36 KiB，全域版本則為 208 KiB。1M 上下文因此在單一序列上仍可負擔，但並行序列數要自己算。
硬體與服務方式
BF16 檔案約 1 TB。文章建議的實務路線是 NVFP4 搭配 Blackwell：
- NVFP4：Blackwell 原生支援，H200 與更舊的 GPU 不能跑；文章建議 4 張 B200（720 GB），2 張 B200 雖放得下權重但幾乎沒有餘裕。
- 其他組合：8 張 B200、2 張 B300，或 8 張 RTX Pro 6000。
- FP8：適用 Hopper 與 Ampere；SGLang 範例用 8 張 H200（
fa3）。 - BF16 多卡：16 張 H200（每張權重 78 GB），8 張 H200 不夠放；裝置數必須整除 256。
vLLM 以 --tensor-parallel-size 16 跑 BF16，並可啟用 DFlash2 推測解碼（num_speculative_tokens 設為 15）。不想自架者，可走 Baseten、Fireworks、Together，或 Hugging Face Inference Endpoints 一鍵部署 FP8 與 NVFP4。
量化的代價
文章引用 Reflection 團隊提供的數字，三種精度差距不大：
| 基準 | BF16 | FP8 | NVFP4 |
|---|---|---|---|
| SWE Bench Verified | 81.6% | 80.2% | 80.7% |
| Terminal Bench v2.1 | 80.1% | 78.9% | 78.2% |
| GPQA Diamond | 90.6% | 90.3% | 89.3% |
| SciCode | 49.2% | 48.3% | 46.9% |
這些分數是廠商自報、未經第三方重現；值得注意的是 SciCode 與 HLE（無工具）在 NVFP4 下降幅最明顯（HLE 由 36.0% 降到 34.8%）。
影響範圍
要自架的團隊：先確認手上是不是 Blackwell。只有 H100/H200 的機房，只能走 FP8 的 8 卡或 BF16 的 16 卡，成本差一截。做微調的團隊：文章示範用 TRL 做 LoRA SFT，在 Multilingual-Thinking 資料集上把語言遵循從 3/16 提到 16/16，單一 8 張 B300 節點約 19,000 tokens/s；全參數 GRPO（Miles）需要十二個 8 張 H200 節點，LoRA GRPO（rank 16）則用四個節點，AIME25 由 42.9% 升到 64.2%，平均輸出長度由 3,188 降到 2,197 tokens。
評估採購或授權的人：Apache 2.0 加上「不禁止蒸餾」意味著可把 Beam 當教師模型產生訓練資料，不過使用政策仍需法務看過。Hugging Face 提供 $10,000 Hub 額度給最佳專案，投稿方式在討論串。
pip install -U "transformers>=5.20.1"
# chat template 支援 reasoning_effort：
# low / medium（預設）/ high / xhigh / max