LY Corporation 怎麼把 3970 億參數 MoE 模型的推論效能榨到頻寬上限
LY Corporation Tech Blog · 2026-07-14
LY Corporation(LINE、Yahoo! JAPAN 母公司)近日公開一套系統工程手法,把 Qwen3.5-397B-A17B(總參數 397B、啟用 17B 的 MoE 模型)部署到 Google 最新推論用 TPU Ironwood(TPU7x) 上,並在 prefill 為主的工作負載上取得 4.7 倍推論加速。這套優化堆疊以 JAX 與 Pallas 為基礎打造,屬於模組化的核心層。
原本的問題
MoE 模型的推論瓶頸和一般稠密模型不同:路由到不同專家(expert)的 token 需要跨裝置搬動,一旦切分策略選錯,通訊開銷會蓋過運算本身的效益。團隊指出,在 TPU7x 上直接套用傳統切分方式會撞到嚴重的硬體分片限制,導致 HBM 頻寬與 MXU(矩陣乘法單元)算力都無法被打滿。
此外,397B 規模的模型在 prefill 階段(處理輸入 prompt、產生第一個 token 之前的批次運算)特別吃重,若 attention 與路由邏輯沒有針對硬體特性重寫,理論算力與實際吞吐量之間會有很大落差。
採用的方法
團隊改用混合式資料平行與專家平行(DP+EP)拓樸來繞開分片限制,並搭配自製的低階通訊融合,例如把 all-to-all 通訊改寫成階層式 reduce-scatter,藉此優化跨裝置的 token 路由。
- Batched Ragged Page Attention:針對長度不一的請求做分頁式批次注意力運算
- 全融合的 Gated DeltaNet(GDN)區塊:GDN 是近期線性注意力的混合架構,用 delta rule 搭配門控衰減項,把歷史狀態壓縮成固定大小的記憶,避免標準 attention 的平方級複雜度
- DP+EP 混合拓樸:資料平行處理批次,專家平行分散 MoE 的路由運算
實際效果
透過上述硬體感知的自製 kernel,團隊表示已能把 HBM 頻寬與 TensorCore MXU 利用率推近理論 roofline 上限,在 prefill 為主的場景下達成 4.7 倍加速。這篇手法文章著重在工程堆疊本身,並未附上與其他廠商方案的橫向 benchmark 對照。
Meta 用階層式興趣表徵解決廣告深漏斗的訊號稀疏難題
Meta Engineering Blog · 2026-07-15
Meta 工程團隊發表了一套用於廣告「深漏斗」(deep funnel,即接近轉換、購買等最終行為的排序階段)的表徵學習方法,稱為階層式興趣表徵(Hierarchical Interest Representation)。這是一個上游表徵層,目的是把使用者被推論出的興趣,和廣告主提供的商品、服務廣度連接起來。
原本的問題
Meta 廣告網路每月要把數百萬廣告主的廣告,投放給數十億使用者,但深漏斗階段的使用者回饋訊號非常稀疏:曝光機會有限,能觀察到的深層互動(如實際購買、完成註冊)比點擊、按讚少得多。同時,要在涵蓋數十億使用者與實體的巨大圖網路上捕捉長距離關聯,計算成本極高,卻又不能犧牲建模準確度。
採用的方法
核心是一張豐富互動圖(Enriched Engagement Graph):一個具型別、加權、時間衰減的異質圖,把使用者、廣告、廣告主、行銷活動、商品與追蹤像素統一放進同一張圖,規模達到數十億筆互動並跑在 Meta 正式環境。
- 階層式編碼器:Transformer 架構,用 LLM 處理文字、圖片、影片等多模態內容作為知識增強
- 偏誤感知注意力:把圖結構訊號(節點型別轉換、最短路徑距離)納入 attention bias
- FlexAttention kernel:即時計算 bias 項以降低記憶體開銷,並把不同長度的子圖打包成 block-masked 序列
- Bag-of-Meaning(BoM)token:用複合量化把連續嵌入向量離散化,方便檢索、建索引與可解釋性
訓練上採用跨視角蒸餾(Cross-View Distillation):教師模型看較完整的圖,學生模型只看較窄的子圖視角去預測教師的興趣分群,藉此緩解深漏斗訊號稀疏的問題。另外還有監督式的互動預測目標,並嚴格按時間切分邊,避免訓練時看到未來資訊而洩漏。
實際效果
文章著重在架構設計本身,沒有揭露相對於既有排序系統的具體效果數字或百分比提升;唯一提到的量化數字是資料載入基礎設施的「30 倍 wall-clock 加速」,這屬於資料管線工程面,而非模型排序效果的指標。文中提到此表徵層會與 Meta 既有的 GEM、Andromeda 及自適應排序模型(Adaptive Ranking Model)整合,但未附上這些系統的公開論文連結。
Stripe 與 Advent 聯手出價逾 530 億美元收購 PayPal,兩套支付基礎設施要怎麼合併
CNBC(引用 Reuters)· 2026-07-15
據報導,支付公司 Stripe 與私募股權公司 Advent International 已聯合向 PayPal 提出收購要約,開價每股 $60.50,交易總值超過 530 億美元,較 PayPal 週二收盤價溢價約 28%。消息傳出後 PayPal 股價一度飆漲 14%–17%。PayPal 董事會預計最快在 7 月 20 日開會討論此案。
交易內容
據報導,這筆要約已在 7 月初提出,是繼今年 4 月雙方初步接觸後的正式出價,附帶約 500 億美元的銀行融資承諾。Stripe 與 Advent 計畫在收購後共同持有 PayPal、雙方股權相當,並表示不會拆解 PayPal 現有業務。截至目前 PayPal 尚未公開回應,各方也婉拒進一步置評,雙方預計在接下來數週內推進協商。
背景與影響
PayPal 市值曾在 2021 年高峰時達到約 3600 億美元,如今已萎縮到約 360 億美元,新任執行長 Enrique Lores 今年 3 月上任後,公司正推動約 20%(約 4,760 個職位)的裁員重組。若交易成真,將是支付產業近年規模最大的併購案之一。
從工程角度看,這類合併最棘手的不是估值,而是兩套支付堆疊如何整合:Stripe 的 API 優先、開發者導向的收單與風控系統,要和 PayPal 既有的錢包、Braintree、Venmo 等多條產品線的技術棧對接,牽涉到商戶遷移、詐欺偵測模型重新校準,以及跨系統的交易對帳與清算流程整併,這類整合往往需要數年才能完成,而非交易簽署當下就能兌現的綜效。
原始來源:CNBC、Yahoo Finance