SLAI T-Rex：在華為 Ascend SuperPOD 上全參數後訓練兆級參數 DeepSeek-V4
arXiv:2607.20145 · 2026-07-23
一篇由 60 餘位作者聯署、以 Dongfang Li 領銜的論文 arXiv:2607.20145 公開了在華為 Ascend NPU基礎設施上，對 DeepSeek-V4 家族模型做全參數後訓練（full-parameter post-training，而非 LoRA 等參數高效方法）的系統工程細節。這類全參數後訓練在兆參數規模的 MoE（混合專家）模型上，過去幾乎只在 NVIDIA GPU 叢集上被驗證過。
核心改動
論文的貢獻集中在系統層面：跨模型平行策略、計算與通訊的排程編排，以及底層 kernel 執行效率三個維度的協同優化。作者回報整體達到 34.22% 的 Model FLOPs Utilization（MFU），相較開源基準方案有 2.93 倍提升——MFU 是衡量訓練叢集實際算力利用率的關鍵指標,越高代表越少算力被浪費在等待通訊或記憶體搬移上。
影響範圍
團隊同時針對「作業研究（Operations Research）」這個垂直領域打造專屬微調框架,產出的模型在自建測試集上取得 71.81% 平均 zero-shot Pass@1,比 GPT-4 Mini 高出約 4 個百分點,比基底的 DeepSeek-V4-Flash 高出 11.27 個百分點。這篇論文等於提供了一份在非 NVIDIA 硬體上訓練兆參數 MoE 模型的公開工程參考,對正在評估國產算力路線的團隊有直接參考價值。
原始來源：arXiv:2607.20145
Self Gradient Forcing：只用 5 秒訓練窗口就能外推出數分鐘長影片
arXiv:2607.20368 · 2026-07-22
自回歸影片擴散模型常用 Self Forcing 訓練法逐幀生成影片,但這種訓練方式存在一個「歷史脈絡—梯度落差」（historical context-gradient gap）：模型在生成第 N 幀時所依賴的、由自己先前產生的脈絡表徵,無法被後續影格的損失函數回頭監督與修正,導致影片越拉越長就越容易漂移失真。
核心改動
Junhao Zhuang 等人提出的 Self Gradient Forcing（SGF）採用兩階段訓練:第一階段先做一次完整的自回歸 rollout;第二階段重新建構每一步的「脈絡—梯度」表徵,讓後續影格的損失得以回頭訓練模型「把脈絡編碼成更有效的因果記憶」——等於補回了原本被截斷的監督訊號,而不需要對整段序列做完整反向傳播。
影響範圍
實驗顯示只用 5 秒的訓練窗口,SGF 訓練出的模型就能外推生成長達數分鐘的影片,並在主體身份一致性、背景/版面穩定度與時序穩定性上優於原始 Self Forcing。這對影片生成模型的訓練成本是直接的槓桿——不需要用更長、更昂貴的訓練片段,就能換取更長的可用生成長度。
原始來源：arXiv:2607.20368
Google 一口氣發表 Gemini 3.6 Flash、3.5 Flash-Lite 與限量的 3.5 Flash Cyber
Google Blog · 2026-07-21
Google 在 2026-07-21 同時發表三個 Gemini 模型:主打程式與知識工作能力提升的 Gemini 3.6 Flash、鎖定速度與成本的 3.5 Flash-Lite,以及僅限特定對象使用的資安專用變體 3.5 Flash Cyber。
規格細節
3.6 Flash 相較 3.5 Flash 輸出 token 用量減少 17%,在 DeepSWE 等特定 benchmark 上有最高 65% 的進步,定價為每百萬輸入 token $1.50、輸出 $7.50。3.5 Flash-Lite 主打推論速度,實測可達每秒 350 個輸出 token,定價僅 $0.3／$2.5(每百萬輸入/輸出 token),在多項 agentic workflow 測試中超越前代 3.1 Flash-Lite。兩者即日起透過 Gemini API、Google AI Studio、Android Studio 與 Gemini Enterprise Agent Platform 上線,Flash-Lite 也將整合進 Google 搜尋。
影響範圍
3.5 Flash Cyber 是專門微調用來尋找與修補資安漏洞的變體,在 CyberGym 基準上達到具競爭力的成績,但基於雙重用途(dual-use)風險考量,目前只透過「有限存取試點計畫」提供給政府與受信任合作夥伴,並未對一般開發者開放。這個限量發布模式本身就反映了業界對「攻防兩用」AI 模型的謹慎態度。
原始來源：Google Blog: Gemini 3.6 Flash, 3.5 Flash-Lite, and 3.5 Flash Cyber