Gemma 4 技術報告出爐：稠密與 MoE 雙線並進，31B 稠密模型登上 Arena 榜首
arXiv · 2026-07-02
Google DeepMind 於 2026 年 7 月 2 日在 arXiv 發布《Gemma 4 Technical Report》（arXiv:2607.02770），公布新一代開放權重多模態模型 Gemma 4 全系列規格。這份 17 頁報告涵蓋從 2.3B 到 31B 參數的稠密與混合專家（MoE）架構，並首次在 12B 版本引入不需獨立編碼器的原生多模態設計。
規格細節
Gemma 4 系列共分五種規模：稠密的 E2B（2.3B）、E4B（4.5B）、12B、31B，以及混合專家架構的 26B-A4B（總參數 26B，實際啟用僅 3.8B）。所有模型皆採用解碼器架構搭配 RMSNorm 與 QKNorm 正規化。視覺輸入透過支援可變長寬比的 Vision Transformer 處理，語音則由縮減至 305M 參數的音訊編碼器負責（較 Gemma 3n 縮減 55%）。12B 版本最特別之處在於捨棄獨立的視覺與音訊編碼器，改用輕量投影模組直接處理原始影像 patch 與音訊訊號。
在位置編碼上，Gemma 4 換成 p-RoPE，將全域 KV 快取用量降低 37.5%，同時搭配 Multi-Token Prediction 草稿機制加速推測解碼（speculative decoding）。報告也加入了「思考模式」（thinking mode），讓模型在輸出答案前先產生推理軌跡，這與 Gemini 系列的推理設計一脈相承。
| 版本 | 參數規模 | 架構 |
|---|---|---|
| E2B | 2.3B | 稠密 |
| E4B | 4.5B | 稠密 |
| 12B | 12B | 稠密（原生多模態、無獨立編碼器） |
| 31B | 31B | 稠密 |
| 26B-A4B | 26B（啟用 3.8B） | MoE |
影響範圍
評測涵蓋 MMLU Pro、AIME 2026、LiveCodeBench、Codeforces、GPQA Diamond 等推理與程式能力基準，加上 MMMU Pro、MATH-Vision 等多模態測驗，以及 CoVoST、FLEURS 語音測驗與 RULER、LOFT 長文本能力評測。報告指出 31B 稠密版本在 Arena 人類評比排行榜上是目前開放權重稠密模型中排名最高的，效能足以匹敵規模更大的前沿開放模型。
Hugging Face 讓 Transformers 函式庫直接跑出原生 vLLM 推論速度
Hugging Face Blog · 2026-07-08
Hugging Face 於 2026 年 7 月 8 日發布部落格文章，說明 vLLM 的 Transformers 建模後端（modeling backend）現在能在不寫客製化 vLLM 實作的情況下，達到與原生 vLLM 相當甚至更快的推論吞吐量。關鍵改動來自已於 7 月 6 日合併進 vLLM 主幹的 PR #47187「Make the Transformers modeling backend as fast as native vLLM」，合併提交為 5bce653e09ca62c870ea18d01a4180dc48d3bacb。
背景
過去模型作者若要在 vLLM 上取得最佳推論效能，必須替每個模型另外手寫一份 vLLM 專屬實作；Transformers 函式庫雖是官方參考實作，卻無法自動套用 vLLM 的推論優化技巧。這導致同一個模型要維護兩份程式碼：一份給 Transformers，一份給 vLLM。這次改動的目標是讓 Transformers 的模型定義直接成為 vLLM 可用的高速後端，不必重複造輪子。
核心改動
新後端在執行期做兩件事：先用 torch.fx 對模型計算圖做靜態分析，找出可優化的運算模式，再用 ast 模組原地改寫原始碼、套用推論專用優化。合併後的融合能力涵蓋多項張量與專家平行優化：
- 將 MoE 模型的專家平行化核心自動接上
MoERunner，支援非同步共享專家、DBO（Distributed Batch Optimization）與序列平行 - 把
q_proj、k_proj、v_proj三個線性層自動融合成QKVParallelLinear，欄位相關的投影層則融合為MergedColumnParallelLinear - 讓
tp_plan、pp_plan兩個設定變成選填，因為融合流程能自動判斷張量平行的正確方向，vLLM 也能靠偵測nn.ModuleList結構自動切分管線平行 - 修正 OLMoE 類模型在張量平行下、全寬正規化層附近的 gather/scatter 錯誤
這些融合後的計算圖仍與 torch.compile 和 CUDA Graph 相容，PR 描述特別強調不會為了下游 torch.compile 呼叫而寫死任何東西。
影響範圍
官方在 8 張 H100 80GB 上，以 Qwen3-4B（單卡）、Qwen3-32B（2 卡張量平行）與 Qwen3-235B-A22B-FP8（8 卡資料＋專家平行）三種規模驗證，結果顯示 Transformers 後端的吞吐量追平甚至超越原生 vLLM 實作。測試用的基準腳本以 1,024 輸入 token、128 輸出 token、1,000 筆請求為工作負載，分別跑離線 throughput 模式（稠密模型）與線上 serve 模式（資料平行 MoE）。目前線性注意力（linear attention）模型尚不支援，Hub 上的自訂模型也需符合特定程式碼結構才能受惠。
vllm serve Qwen/Qwen3-32B --model-impl transformers --tensor-parallel-size 2NVIDIA Nemotron 3 Ultra 靠 LangChain Deep Agents Harness Profile 衝上開源代理基準榜首
NVIDIA Developer Blog · 2026-07-08
NVIDIA 於 2026 年 7 月 8 日發布部落格，說明 550B 參數的 Nemotron 3 Ultra（550B-A55B MoE 架構）在 LangChain 的 Deep Agents 基準測試中拿下開放模型最高準確率。這項成績並非來自重新訓練模型，而是透過 LangChain Deep Agents 的「Harness Profile」機制，針對 Nemotron 3 Ultra 客製化系統提示詞、工具描述與中介層（middleware）。
背景
LangChain Deep Agents 是月下載量超過 2 億次的代理協作框架，本身支援可插拔的 harness profile 擴充點，讓開發者依照特定模型調整代理行為，而不需要動到模型權重。核心邏輯是讓代理呼叫模型的方式盡量貼近該模型訓練資料中出現過的樣態，藉此挖出既有模型的隱藏效能，而非單純堆疊新工具。
核心改動
Harness Profile 可調整三類東西：提示詞、排除項與新增項。提示詞層可修改基礎系統提示詞、追加後綴、改寫工具描述，例如要求模型優先發問澄清、或更信任工具回傳結果而非內部知識；排除項可移除特定工具或中介層元件；新增項則可掛載自訂中介層或子代理（sub-agent）。
文章示範了一個 ReadFileContinuationNoticeMiddleware：當讀檔結果疑似被截斷、後面還有內容時，中介層會自動附註「檔案可能還沒讀完」，並指示模型帶新的 offset 值繼續分頁讀取，避免模型誤把部分結果當成完整答案。註冊方式如下：
profile = HarnessProfile(extra_middleware=[ReadFileContinuationNoticeMiddleware()])
register_harness_profile("nvidia:nemotron-ultra", profile)影響範圍
加入這個 middleware 後，讀檔相關測項從 0/3 提升到 3/3，整體分數也從 94/127 上升到 96/127。
| 設定 | 讀檔測項 | 整體分數 |
|---|---|---|
| 基準（無 middleware） | 0/3 | 94/127 |
| 加入 middleware | 3/3 | 96/127 |
NVIDIA 部落格也提到，此次調校讓 Nemotron 3 Ultra 在 Deep Agents 基準上取得開放模型中最高準確率，每次任務的推論成本較領先的閉源模型低十倍，商業任務表現則與最高分的閉源模型相當。目前 Nemotron 3 Ultra 已可透過 Baseten、Crusoe Cloud、DeepInfra、Fireworks、Nebius、Together AI 等雲端平台呼叫。
原始來源：NVIDIA Developer Blog、NVIDIA Blog、LangChain Deep Agents Docs