NVIDIA Vera Rubin 平台鎖定「後訓練」工作負載：用四分之一 GPU 衝出更高每美元智慧
NVIDIA 官方部落格 · 2026-07-17
NVIDIA 於 2026 年 7 月 17 日發布部落格文章，說明下一代 Vera Rubin 平台如何針對「後訓練」（post-training）工作負載做端到端的成本效益最佳化。文章引用 Prime Intellect、Perplexity 與 NVIDIA 自家 Nemotron 3 Ultra 模型的實測數據，主張 Vera Rubin 相較 Blackwell 世代，在訓練同等規模的最大模型時，所需 GPU 數量可降至四分之一。這是繼 Blackwell 之後，NVIDIA 首次把整個平台的行銷敘事從「訓練吞吐量」轉向「代理式 AI（agentic AI）的持續運算成本」。
背景：後訓練為何變成一條持續運作的產線
文章把「後訓練」定義為一種持續性的強化學習循環，而非傳統意義上一次性的收尾步驟（例如常見的 SFT 或 RLHF）。在代理式 AI 的部署場景裡，模型會不斷在沙盒環境中執行任務、產生 rollout、被評分，再依據回饋更新權重，藉此適應新工具、新環境與生產環境中不斷出現的邊界案例。這意味著訓練叢集與推論叢集之間必須頻繁同步最新的模型權重，而不是像預訓練那樣訓練完就結束。這也是為什麼文章特別強調權重同步速度，而不只是原始算力。
核心規格：更少 GPU、更快的權重同步
文章列出的具體數字包括以下幾項，但需注意這些都是 NVIDIA 引用合作夥伴自行提供的數據，並未公開對應的 FLOPS、記憶體頻寬或互連規格：
- 訓練最大規模模型時，Vera Rubin 平台所需 GPU 數量約為 Blackwell 世代的四分之一
- Vera CPU 在 Prime Intellect 的強化學習沙盒工作負載中，每顆 CPU 吞吐量比其引用的替代 x86 架構高出約 30%
- Perplexity 的技術堆疊可在訓練節點與推論節點之間，於兩秒內同步一個兆參數（trillion-parameter）等級模型的權重
Nemotron 3 Ultra（550B 參數 MoE 模型）在 SWE-bench 程式碼基準測試取得 71.7% 的成績
其中權重同步的兩秒數字特別關鍵：在持續後訓練的場景中，訓練端更新的策略必須盡快同步給線上服務的推論端，否則代理系統實際互動的仍是舊版本模型，等於後訓練白做工。
影響範圍：agentic AI 把算力規劃變成持續性成本
這篇文章的敘事重點，是把「後訓練」從一次性的收尾流程，重新定位成一項需要長期編列預算的持續性基礎設施投入。如果代理式 AI 系統要不斷從生產環境的回饋中學習，訓練與推論就不再是兩個分離的階段，而是一個需要低延遲雙向同步的迴路。這也解釋了為何 NVIDIA 這次的評估指標，從「每秒 token 數」換成「每美元智慧」——衡量的不只是原始算力，還包含 GPU 使用率、CPU 沙盒吞吐量與權重同步延遲的整體效率。值得留意的是，文中列出的所有數字均來自合作夥伴或 NVIDIA 自家案例，目前尚無第三方獨立基準測試可供交叉驗證。
原始來源：NVIDIA Blog - Vera Rubin Post-Training Intelligence per Dollar
NVIDIA NeMo Automodel 串接 Hugging Face Diffusers：影像影片模型免轉換直接大規模微調
Hugging Face 部落格（NVIDIA 撰稿） · 2026-07-17
NVIDIA 與 Hugging Face 於 2026 年 7 月 17 日聯合發布部落格文章，介紹 NeMo Automodel 與 Diffusers 函式庫的整合。這項整合讓工程師可以直接對 Hugging Face Hub 上的擴散模型做微調，不需要先把 checkpoint 轉換成訓練框架專屬的格式。文章以 FLUX.1-dev 微調塔羅牌風格影像為例，完整走過資料前處理到推論的流程，並公布在 8 張 H100 80GB GPU 上的訓練吞吐量實測數據。
背景：擴散模型規模化微調的老問題
NeMo Automodel 是一套開源、以 PyTorch DTensor 為原生基礎的訓練函式庫，強調兩個核心原則：原生支援 Hugging Face 生態，以及可在任意硬體規模下擴展。過去要對大型擴散或影片模型做規模化微調，往往得自己寫分散式訓練腳本，還得在 Diffusers 原生格式與訓練框架內部格式之間手動轉換 checkpoint。這次整合的重點，是讓 Automodel 直接讀取 Diffusers 模型並微調，微調完的 checkpoint 也能直接載回 DiffusionPipeline 做推論，兩端格式完全打通。文中提到 DTensor 是 PyTorch 原生的分散式張量抽象層，讓模型權重可以切分到多張 GPU 上，程式碼寫法卻近似單卡；建立在其上的 FSDP2（Fully Sharded Data Parallel 第二代）則負責把參數、梯度與優化器狀態切分到各 GPU，藉此在有限顯存下塞入更大的模型。
核心規格：支援模型、平行策略與實測吞吐量
整合提供的模型微調範本涵蓋文字轉圖片與文字轉影片兩類，包括 FLUX.1-dev／FLUX.2-dev（12B、32B）、Wan 2.1／2.2（1.3B 至 27B）、HunyuanVideo 1.5（13B）與 Qwen-Image（20B）。平行策略方面支援 FSDP2、張量平行、管線平行、上下文平行，以及設定驅動而非改程式碼的專家平行（expert parallelism）。文章公布了在 8 張 H100 80GB 上的實測數據：
| 模型／任務 | 微調方式 | 吞吐量 | 峰值顯存 |
|---|---|---|---|
| FLUX.1-dev（512×512 文生圖） | 全參數微調（FSDP2） | 35.51 images/sec | 53–67 GiB／GPU |
| FLUX.1-dev（512×512 文生圖） | LoRA（DDP） | 53.73 images/sec | 53–67 GiB／GPU |
| Wan 2.1 1.3B（512×512×49 幀文生影片） | - | 8.50 clips/sec | - |
| Wan 2.1 14B（512×512×49 幀文生影片） | - | 2.1 clips/sec | - |
| HunyuanVideo（文生影片） | 啟用 activation checkpointing | 1.35 clips/sec | - |
安裝方式提供容器與 pip 兩種途徑：
docker pull nvcr.io/nvidia/nemo-automodel:26.06
# 或
pip3 install nemo-automodel影響範圍：從單卡到多節點的漸進擴展路徑
文章展示的實際流程是：先從 Hub 串流影像資料集，預先快取 VAE latent 與文字嵌入到各 GPU，再用既有的 YAML 設定檔搭配命令列參數覆寫路徑與超參數啟動訓練，訓練目標採用 flow-matching。微調完成後的 checkpoint 可以直接指定給生成腳本，透過觸發詞（trigger token）喚出學到的風格，同時保留基礎模型原有能力。NVIDIA 也預告未來會提供完整型別標註的 Python API，讓模型、資料、優化器、平行策略與 checkpoint 設定都能用程式化方式組合，而非目前的 YAML 加命令列覆寫模式。需提醒的是，上述吞吐量數字僅為 NVIDIA 在特定解析度與硬體組態下的自測結果，尚未涵蓋更廣泛模型矩陣或第三方複現。
原始來源：Hugging Face Blog - Scale Diffusers Finetuning with NeMo Automodel
拆解 Prefill Jailbreak：機制可解釋性研究發現「拒絕」只是回應前段的表層判斷
arXiv · 2026-07-14
一篇於 2026 年 7 月 14 日提交至 arXiv 的論文 2607.14147《Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak》，用機制可解釋性（mechanistic interpretability）方法拆解了 prefill jailbreak 的運作機制。作者 Alex Kwon 測試橫跨三個模型家族、參數量涵蓋 1.5B 至 3.8B 與 14B 的四個模型，發現拒絕行為其實只是一個發生在回應前段的表層運算，而非深植於模型內部的安全機制。
背景：什麼是 prefill jailbreak，為何要動用可解釋性工具
對齊訓練過的語言模型通常會拒絕有害請求，但 prefill jailbreak 完全不需要複雜的提示工程：只要在模型「即將輸出的回應」開頭強行塞入一句「Sure, here is」（許多支援對話前綴續寫的 API 或代理框架都提供這個機制），拒絕行為就會被繞過，即便使用者原始請求本身沒有任何改動。傳統紅隊測試只能觀察輸入輸出的行為表現，無法回答「為什麼」；機制可解釋性則是直接打開模型內部，用探針讀取隱藏層活化值、追蹤注意力流向、做因果介入實驗，藉此定位一個行為（例如拒絕）究竟發生在網路的哪個位置。這正是本篇論文採用的研究路徑。
核心發現：拒絕是可被繞過的開關，而非深層防線
論文用線性探針（linear probe）檢測模型內部的「有害表徵」，結果發現即便是已經被 prefill 攻擊成功繞過拒絕的提示，模型內部偵測到有害內容的機率仍高達 0.91 至 0.98，與正常拒絕時的偵測率相當——代表模型內部其實「知道」這個請求有害，只是最終沒有依此行動。三種因果探針的實驗結果收斂到同一個時間窗口：只要在回應的前半段還原「有害方向」的訊號，就能部分重新觸發拒絕；若直接注入模型內部的「拒絕狀態」，在保留驗證集上可以讓 74% 的越獄案例被逆轉。研究人員也做了「注意力剔除」實驗：只移除回應前段對 prefill 文字的注意力（同時保留其餘位置的注意力總量不變），就能選擇性地瓦解後續的有害內容生成，顯示這段注意力正是攻擊生效的關鍵槓桿。
影響範圍與侷限：偵測位置比修補回應更重要
論文用未經安全訓練的基礎模型（base model）做對照組，結果同樣的機制依然存在，說明這其實是通用的自回歸「順著已開頭的話說下去」效應，而不是專屬於安全機制的漏洞。研究也找到一個較小的、安全機制專屬的訊號殘留（logit-trace concentration 為 0.24，對照基準僅 0.03），但這個殘留究竟是主動發揮作用還是被動殘留，論文承認尚未完全釐清。整體而言，拒絕決策是可被解碼的，但分散在網路各處而非集中於單一位置，且它追蹤的是實質有害內容而非表面關鍵字，這意味著只讀取「使用者輸入端」表徵（在模型開始生成回應之前）的監控機制，結構上不受這類回應端攻擊影響。研究範圍僅涵蓋四個 1.5B 至 14B 的中小型開源模型，尚未涉及前沿等級的閉源大模型，這是解讀本文結論時需要留意的侷限。
原始來源：arXiv:2607.14147