NVIDIA 主張：性能功耗比才是 AI 基礎設施效率的終極量尺
blogs.nvidia.com · 2026-07-14
NVIDIA 於 2026-07-14 發表部落格文章，由 Shruti Koparkar 撰寫，主張在 AI 工廠（AI factory）的建置邏輯下，每瓦效能（performance per watt）已取代單純的算力峰值，成為衡量資料中心效益的核心指標。文章的立論基礎很直接：資料中心的電力供給是硬上限，同樣的電力預算下能塞進多少可用算力，直接決定了營收與獲利能力。這篇文章同時揭露了 Blackwell 世代相對 Hopper 世代在多個主流模型上的具體效能功耗比數據。
硬體與軟體的雙重槓桿
NVIDIA 將效能功耗比的提升拆成硬體世代躍進與軟體優化兩條路徑。在硬體面，GPU Domain 從 8 顆擴大到 72 顆是關鍵轉折——文章指出，服務混合專家（MoE）架構模型需要更大規模的 scale-up 網域才能有效率地攤提通訊與記憶體開銷。支撐這個轉變的是第六代 NVLink Switch（隨 Vera Rubin 平台推出）與 SHARP 網內運算，讓部分聚合運算直接在交換器內完成而非佔用 GPU 算力。散熱與供電則交給 NVIDIA DSX MaxLPS，支援溫水式液冷並可即時重新分配機櫃間的電力。
軟體側的優化同樣被算進效能功耗比的帳本。文章列出 NVFP4 量化、disaggregated serving（拆解式推理服務）、專家並行（expert parallelism）、KV-aware 路由與 KV cache offloading 等技術，並點名 TensorRT-LLM、Dynamo、SGLang、vLLM 作為落地框架。NVIDIA 給出一個值得注意的動態數字：僅靠軟體疊代，DeepSeek V4 的效能功耗比在單一個月內就提升了最多 5 倍，顯示軟體優化的迭代速度可能快於硬體換代週期。
實測數據與部署現況
文章給出的世代對比（Blackwell 對 Hopper）數字如下：
| 模型 | 效能功耗比提升（Blackwell vs Hopper） |
|---|---|
| DeepSeek V4 Pro | 最高 25 倍 |
| GLM 5.1 | 最高 20 倍 |
| Kimi K2.6 | 最高 10 倍 |
此外，在相同電力預算下，NVIDIA 表示新一代系統設計可多塞入最多 40% 的 GPU 數量。文章末段提及 Blackwell 系統目前已用於 Anthropic、OpenAI、SpaceXAI、CoreWeave、Perplexity 與 Fireworks AI 的推理服務部署，作為效能功耗比論述的實地佐證。
原始來源：NVIDIA Blog
研究指出：砍掉 Token 不等於省錢，Prompt Cache 才是 API 帳單的真正主宰
arXiv · 2026-07-13
Sarel Weinberger 與 Amir Hozez 於 2026-07-13 發表論文《Token Reduction Is Not Cost Reduction》（arXiv:2607.12161），針對以 Claude Code 為代表的 API 導向編碼代理（coding agent），實測「減少上下文 token 數」是否真的能降低實際帳單。他們的核心發現是：token 數與實際成本之間的關聯遠比工程師直覺的弱，因為現行計費結構的成本重心根本不在輸出或輸入的 raw token 數上。
實驗設計
研究團隊分析了 2,848 次 Claude Code 執行紀錄，橫跨 103 個任務與 7 個程式碼庫，並在三個模型版本下比較「基準版」與「壓縮版」提示詞的表現，累積約 5,500 次實際計費的執行案例。這個規模讓論文得以用配對比較（paired comparison）而非單純的迴歸關聯，去檢驗壓縮上下文的因果效果，而不只是相關性。
核心結果：快取才是大頭，壓縮反而更貴
論文將帳單拆解為四個成本分量後發現，快取建立與讀取（cache creation and reads）就佔了約 87% 的還原後成本、實際帳單的約 80%——換言之，一般人以為的「輸出更精簡」對總花費的影響其實很邊緣。當研究者實際對工具輸出做 38% 的 token 刪減介入時，配對後的成本不降反升 6.8%（95% 信賴區間 +2.8% 至 +11.3%），而逐任務的 token 減少幅度與成本變化的相關係數僅 Pearson r = 0.15，幾乎無法預測。
- 快取讀寫佔還原後成本約 87%，佔實際帳單約 80%
- 刪減 38% 工具輸出 token → 配對成本反升 6.8%（95% CI: +2.8%~+11.3%）
- Go 任務測試中，壓縮版本把成功修補數從 27/40 降到 15/40
品質面的代價同樣明確：在 Go 語言任務測試中，壓縮破壞了逐字比對用的編輯錨點（verbatim edit anchor），導致成功修補的比例從 27/40 掉到 15/40。作者因此主張，評估任何上下文壓縮手段時應改用「成功率調整後的計費成本（success-adjusted billed cost）」，而非單看 token 減少量。
原始來源：arXiv:2607.12161
Ring-Zero：零標註強化學習衝上兆參數規模，浮現自我驗證等新興推理行為
arXiv · 2026-07-14
延續 Ant Group inclusionAI／Ling Team 的 Ring 系列脈絡，一支團隊（Xinyu Tang、Zhiqiang Zhang、Jun Zhou 等人）於 2026-07-14 發表論文《Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning》（arXiv:2607.12395），把「Zero RL」——不依賴任何人類標註資料、僅靠可驗證獎勵訓練的強化學習範式——擴展到 Ring-2.5-1T-Zero，一個兆參數規模的模型。論文驗證了將這套訓練方式放大到兆參數等級後，模型會自發生出一系列先前只在小模型上零星觀察到的推理行為。
背景：什麼是 Zero RL
Zero RL 的概念源於 DeepSeek-R1-Zero 一脈的做法：跳過監督式微調（SFT）與人類偏好標註，直接用規則式、可驗證的獎勵（例如數學答案是否正確）對基礎模型做強化學習。這類方法的吸引力在於訓練資料成本低，但過去的疑問是它能否在超大模型上穩定擴展，還是只在中小模型上有效。Ring-Zero 這篇論文正是針對「規模化」這個問題給出實證。
核心發現：兩階段學習與湧現行為
論文指出，把 Zero RL 擴展到 1T 參數顯著提升了樣本效率與效能上限（performance ceiling），而非邊際效益遞減。訓練過程呈現明確的兩階段動態：先是一段「探索期」，模型嘗試多樣化的推理路徑；隨後進入「收斂期（sharpening）」，模型逐漸把行為集中到更穩定、更高效的推理模式上。
更值得注意的是模型在訓練過程中自發演化出的湧現行為，論文列舉了擬人化表達、結構化格式輸出、自我驗證（self-verification）、平行推理（parallel reasoning）以及「情境焦慮（context anxiety）」等現象——這些都不是靠人工設計的獎勵函數直接誘導出來的，而是規模擴大後的副產物。
- 探索期 → 收斂期的兩階段訓練動態
- 湧現行為：擬人化、結構化格式、自我驗證、平行推理、情境焦慮
- 於七個數學資料集上做基準評測
為了捕捉這些行為的價值，論文額外提出評估思維鏈（chain-of-thought）品質的三個維度——可理解性、可重現性與效率，而非只看最終答案的準確率。作者表示 Ring-2.5-1T-Zero 在產生結構化且精簡的推理軌跡上展現出明顯優勢，暗示規模化 Zero RL 除了拉高分數天花板，也可能改善推理過程本身的可讀性與穩定性。
原始來源：arXiv:2607.12395