vLLM v0.28.0 發布：解碼情境平行化與分層 KV Cache 卸載大幅拉升推理吞吐
vLLM GitHub Releases · 2026-08-26
vLLM 專案於 2026-08-26 釋出 v0.28.0，本次更新集中在兩個方向：針對 Kimi-K3、DeepSeek V4 等超大型 MoE 模型的解碼效能優化，以及 Model Runner V2 架構的成熟化。這是 584 次 commit、270 位貢獻者（含 76 位新貢獻者）累積的成果，涵蓋推測解碼、KV Cache 分層卸載與 Rust 前端等多條技術線。
核心改動
針對 Kimi-K3 模型，此版本加入 Decode Context Parallel（DCP）支援，並將 FlashKDA 的 decode 與 prefill kernel 融合，讓長情境解碼的每步延遲明顯下降。DeepSeek V4 方面，Sparse MLA 現在可完整支援一般 decode、MTP 與 DSpark 推測解碼三種路徑，並新增 AMD Quark NVFP4 量化格式支援。
推測解碼(speculative decoding)線也有進展：DFlash2 加入 local convolution 機制，DSpark 導入信心分數排程的驗證流程，草稿模型（draft model）預設開啟非同步排程。Model Runner V2 補齊 E/P/D（Encode/Prefill/Decode）三階段分離與權重卸載（weight offloading），並支援多層 MTP KV cache 與 encoder CUDA graph。
- KV Cache 分層卸載新增磁碟層，並開放 out-of-tree 的第二層管理器介面
- KV Cache 的 CPU 記憶體排列（layout）改為與平行策略無關，避免切換 TP/PP 設定時重新排列
- Rust 前端加入獨立 renderer，並支援透過 gRPC 做多模態影像推理與明確的 data-parallel rank 路由
規格細節
預設批次大小提高，max_num_batched_tokens 的預設值從 8192 調整為 16384：
- max_num_batched_tokens: 8192 # v0.27.x 預設
+ max_num_batched_tokens: 16384 # v0.28.0 新預設
Mamba 系列模型現在預設開啟 prefix caching。此版本同時包含數個破壞性變更（breaking changes）：
- bitsandbytes 支援移出核心，改為 out-of-tree plugin
- Transformers 依賴升級到
5.15.0 - 移除已棄用的執行期 KV scale 計算函式
calculate_kv_scales - 移除
override_attention_dtype參數 - KV 卸載分層 metrics 命名由
block_前綴改為chunk_
影響範圍
效能面，多個 all-gather 操作合併後帶來 1.5～3 倍的 kernel 層級加速；自適應推測 token 預算讓 DSpark 的 TTFT（Time To First Token）改善約 60%。可選的共享專家（shared-expert）分片機制則替每張 GPU 省下約 17 GiB 記憶體，對於部署 DeepSeek V4 這類 MoE 模型的多卡叢集是直接的容量收益。執行路徑上消除了多處 GPU↔CPU 同步點，並補上對應的 CI 守門機制以防止未來回歸。
Tencent 開源 Hy4 Preview：770B 參數 MoE 模型主打 100 萬 token 情境與 Agentic 編碼
Tencent · HuggingFace · 2026-08-28
騰訊(Tencent) 於 2026-08-28 開源釋出新一代旗艦模型 Hy4 preview，權重同步上架 tencent/Hy4-preview 與 FP8 量化版 tencent/Hy4-preview-FP8，並在 GitHub Tencent-Hunyuan/Hy4-preview 提供推理程式碼，授權為 Apache 2.0。這是繼 Hunyuan 系列後騰訊在混合專家（MoE）架構上的最新迭代，總參數達 770B，單次推理僅啟用 49B。
規格細節
模型骨幹共 78 層，第一層為傳統 dense FFN，其餘 77 層皆為 MoE 層，每層 256 個路由專家(routed experts)加 1 個共享專家，每個 token 啟用 top-8 路由專家＋1 共享專家。額外內建 1 層原生 MTP（10B 參數，啟用 0.7B）用於推測解碼加速。注意力機制採用 Gated DeepSeek Sparse Attention（Gated DSA）搭配 IndexCache，讓稀疏索引可以跨層重複使用；殘差路徑則用 iHC（identity Hyper-Connections）擴展層間資訊流動。
情境長度支援超過 100 萬 token，隱藏層維度 6,144、64 個注意力頭。模型卡引用了兩篇對應的技術報告 arXiv:2512.02556 與 arXiv:2603.12201，分別對應架構與訓練方法細節。
影響範圍
在騰訊內部由 163 位領域專家對 203 項工程任務進行的盲測評估中，Hy4 preview 平均得分 2.99（滿分 4.00），略高於 GLM-5.3 的 2.92 與 Kimi K3 的 2.94。公開的程式碼能力基準上，Hy4 preview 在 SWE-bench Multilingual 拿下 82.9%，SWE-bench Pro 65.7，GPQA Diamond 則為 92.3。
| 模型 | 內部盲測（/4.00） | SWE-bench Multilingual |
|---|---|---|
| Hy4 preview | 2.99 | 82.9% |
| Kimi K3 | 2.94 | — |
| GLM-5.3 | 2.92 | — |
模型已上架 WorkBuddy、CodeBuddy、元寶（Yuanbao）與 ima 等騰訊自有應用，也可透過騰訊雲 TokenHub 與 OpenRouter 呼叫 API，計費為每百萬輸入 token US$0.834、輸出 token US$2.501，快取命中 token 則為 US$0.042。官方特別強調的能力是 agentic 研究：Hy4 可同時協調多個 Codex session 平行執行、彙整多方結果後再產出答案。
Hot Chips 2026：三星 LPDDR5X-PIM 把運算塞進記憶體 Bank，AI 推論吞吐提升 3 倍
Chips and Cheese · 2026-08-29
三星電子(Samsung)於 Hot Chips 2026（史丹佛大學，2026 年 8 月下旬）發表 LPDDR5X-PIM，這是業界第一款以 LPDDR 為基礎、鎖定 AI 推論的 Processing-in-Memory（PIM）量產設計，並展示了實際晶片與效能數據。與過去只出現在研究論文中的 HBM2-PIM（如 2021 年的 Aquabolt-XL）不同，這次的設計目標是相容既有 LPDDR5X 系統、不需額外改機。
背景
PIM 的核心想法是把部分運算直接搬進記憶體內部執行，藉此省下資料在記憶體與運算單元（CPU／AI 加速器）間往返搬移的頻寬與延遲成本。三星先前的 PIM 嘗試集中在 HBM 產品線，主要用於資料中心；LPDDR5X-PIM 是首次把同樣概念下放到行動與用戶端等級的記憶體，鎖定邊緣 AI 推論場景。
規格細節
LPDDR5X-PIM 沿用標準 LPDDR5X-9600 介面，在 16 個記憶體 bank 中，每個 bank 旁都嵌入一個 PIM 運算區塊。每個 PIM 區塊帶有一個 1,024-bit 指令暫存器（最多容納 64 條 16-bit 指令）、4 kbit 的來源暫存器檔（存放 activation 向量）與 2 kbit 的縮放暫存器檔（存放權重縮放係數）。16 個 bank 同時運算時，內部頻寬達到 614 GB/s，相較傳統 LPDDR5X 兩個 bank 平行存取的 76.8 GB/s 高出 8 倍。
單一封裝維持 JEDEC 標準 561-ball 規格、4 顆 die 組成一個 rank，容量 16GB。運算精度支援 INT8/FP8（每個 PIM 區塊每資料時脈 4 次 MAC，DDR 下等於每週期 8 次）與 4-bit 權重（吞吐再提升 2 倍），單一封裝 INT8 峰值達 2.4 TOPS，FP8 約 1.2 TFLOPS。
影響範圍
三星以 Llama-3.1-8B（320-token 情境、SINT8 activation＋SINT4 權重）做實測：一般 LPDDR5X 跑完需要 12.3 秒，換算 27.0 tokens/s；LPDDR5X-PIM 只要 5.4 秒，達到 81.3 tokens/s，吞吐提升 3.01 倍。8 顆晶片組成的封裝合計可提供約 9.6 INT8 TOPS 算力。
| 方案 | 頻寬 | Llama-3.1-8B 吞吐 |
|---|---|---|
| 標準 LPDDR5X（2-bank 平行） | 76.8 GB/s | 27.0 tokens/s |
| LPDDR5X-PIM（16-bank） | 614 GB/s | 81.3 tokens/s |
因為封裝與腳位相容既有 LPDDR5X 模組，三星的目標市場涵蓋伺服器、用戶端 PC 與行動裝置，主打不需重新設計主機板即可導入邊緣 AI 加速。