工業級 LLM 的持續學習：版本化生態系統視角
arXiv · 2026-06-25
背景
論文 2606.24901《LLM Evolution as an Industry-Scale Ecosystem》將工業部署 LLM 的更新問題重新定義為版本化閉迴路生態系統，而非單純的靜態基準測試改善。研究者指出，現有學術研究普遍忽略真實工業場景的需求，亦即模型必須在不重新從頭訓練的前提下，持續回應演化中的需求與環境。
規格細節
論文識別出工業持續學習（Industrial Continual Learning, ICL）的三個核心挑戰：
- 反覆更新侵蝕模型的可塑性（plasticity），導致後續適應能力下降
- 基礎模型版本升級造成下游模型的能力繼承斷鏈
- 部署資源限制制約長期可持續性
為此，論文提出五項生命週期設計原則：預留可塑性空間、以能力轉移替代重訓、可信的持續強化學習、自我最佳化訓練配方，以及將問責機制內建為底層基礎設施。
影響範圍
此框架將能力繼承與版本傳播視為首要設計目標，對企業部署多代 LLM 產品線具有直接指導意義。基礎模型升級不再等同於下游模型重置，而是一種結構化的能力轉移工程。這種生態系統觀點有望成為工業 MLOps 的新標準敘事框架。
原始來源：arXiv:2606.24901
LLM 中特徵方向的錯誤校正機制實證研究
arXiv · 2026-06-25
背景
論文 2606.24964《Evidence for Feature-Specific Error Correction in LLMs》由 Francisco Ferreira da Silva 與 Stefan Heimersheim 提交，首次以實驗方式驗證了 LLM 在疊加計算（superposition）時確實存在特徵方向的優先錯誤校正行為。此前這一預測僅存在於理論層面，缺乏跨模型的系統性實證。
規格細節
研究者對殘差流（residual stream）激活值施加擾動，並以 Lp-norm 分解量化特徵方向的「特權程度」。核心發現是：真實特徵方向對應 p > 2，而隨機方向與 PCA 對照組均接近 p ≈ 2，代表無特殊校正行為。
- 對照比較方向類型：對比提示對（contrastive）、MELBO、SAE-decoder 方向
- p > 2 結果在六個模型架構上成功複現：Gemma-2-9B、Qwen3-1.7B、Llama-3.1-8B、Mistral-7B-v0.3、Aya-Expanse-8B、Yi-1.5-9B
- 玩具模型（toy model）驗證：旋轉遠離真實特徵方向後，p 值退化趨近 2
影響範圍
這項研究為可解釋性研究（interpretability）提供了重要支撐：LLM 的內部計算並非均向同性，特定特徵方向享有編碼層面的容錯保護。此發現對 SAE（Sparse Autoencoder）特徵發現方法的可靠性，以及對 LLM 內部表示工程（representation engineering）的設計，均有直接理論意涵。
原始來源：arXiv:2606.24964
LDM-v0：單一 Transformer 策略橫跨千種強化學習環境
arXiv · 2026-06-25
背景
論文 2606.24962《Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models》由 Thibaut Kulak 提出，核心問題是：單一預訓練 Transformer 策略能否同時適用於數千個異質強化學習環境？此前多任務 RL 研究多侷限於同域少量任務，跨域大規模驗證仍屬空白。
規格細節
研究者推出 LDM-v0（Large Decision Model），以離線方式在來自數千個環境的軌跡資料上訓練，採用下一步動作預測（next-action prediction）的監督式學習目標。模型以觀測值、動作、獎勵及終止訊號的歷史序列作為條件輸入，支援多模態輸入輸出。
- 涵蓋領域：機器人控制、自動駕駛、庫存管理、資安模擬、交易策略、電玩遊戲
- 單一模型在約 1,000 個環境上的表現達到各任務獨立訓練基線的水準
- 訓練方式：純離線（offline），不依賴線上互動
影響範圍
LDM-v0 證明了大規模異質 RL 預訓練的可行性，其意義類比於 NLP 中 GPT 系列從語言建模預訓練跨越多任務的演進路徑。後續可接軌線上微調、RLHF 或領域適應，為「通用決策模型」的工程路線圖提供了具體的起點驗證。
原始來源：arXiv:2606.24962