Modernizing the Facebook Groups Search to Unlock the Power of Community Knowledge
Meta Engineering Blog · 2026-04-21
Meta 工程團隊透過混合檢索架構重新設計了 Facebook Groups 搜尋系統，結合詞彙和語義雙路徑並行運作。
架構概述
詞彙路徑（Unicorn）使用 Facebook 的自研倒排索引確保精確檢索專有名詞；語義路徑（SSR）採用 1200 萬參數的 12 層 Transformer 模型，將查詢編碼為密集向量，並透過 Faiss 執行近似最近鄰搜尋。L2 排名層使用多任務多標籤（MTML）超模型整合兩路結果，聯合優化點擊、分享和評論三個目標，同時引入 Llama 3 多模態能力作為自動評判者，偵測「有點相關」等細微相關性。
核心技術細節
- 詞彙路徑：Unicorn 倒排索引，擅長處理精確的品牌名、地點、專有名詞
- 語義路徑：12 層雙編碼器，查詢向量與文件向量各自獨立編碼後計算相似度
- MTML 超模型：同時優化多個業務指標，減少 trade-off 調整成本
- LLM 評判者：用 Llama 3 多模態模型標注細微相關性，解決人工標注不一致問題
業務影響
系統部署後大幅提升搜尋參與度且未增加錯誤率。未來計畫直接整合大型語言模型至排名層，並實現基於查詢難度的動態檢索策略選擇。
工程師可以從這篇文章學到：大規模搜尋系統如何在精確匹配與語義理解之間找到平衡，以及如何用 LLM 自動化相關性標注來降低標注成本。
AI Is Hitting Operational Limits as Companies Rush to Scale — Datadog 2026 State of AI Engineering Report
Datadog · 2026-04-21
Datadog 對數千個 AI 代理環境的分析揭示，運營複雜性而非模型能力已成為可靠 AI 規模化的主要瓶頸。
關鍵數字
- 69% 的企業同步部署三個以上模型搭配複雜代理工作流
- 生產環境中約 5% 的 AI 請求失敗，其中近 60% 由容量限制引發
- 令牌消費量翻倍增長：中位數使用團隊增長超過 2 倍，90 百分位重度用戶增長 4 倍
- OpenAI 市場佔有率 62%，Google Gemini 和 Anthropic Claude 各成長 20 個百分點
核心觀察
運營負擔已超越模型選擇成為關鍵差異化因素。報告強調可觀測性和跨基礎設施、模型行為及代理工作流的實時可見性對可靠 AI 部署至關重要。多模型部署策略雖提升彈性，但也使監控和調試複雜度指數級上升。
工程啟示
- 容量限制導致的失敗比模型錯誤更常見，需優先建立令牌用量的細粒度監控
- 多供應商策略是趨勢，但需要統一的 LLM gateway 層來管理路由與成本
- AI 系統的 SLO 設計需考量令牌配額耗盡、速率限制等 AI 特有的失敗模式
Build Google ADK Agents with Persistent, Real-Time Memory on Redis
Redis Blog · 2026-04-21
Redis 發布 adk-redis，為 Google Agent Development Kit 提供生產級記憶體實現，採用雙層記憶體架構橋接原型與生產環境。
雙層記憶體設計
會話層（工作記憶）：RedisAgentMemory 在每條訊息後存入 Redis，當上下文接近限制時自動呼叫 LLM 進行摘要壓縮，保留關鍵資訊。
持久層（長期記憶）：對話結束後，系統提取結構化資訊（如用戶偏好、歷史行為）並以向量形式存入 Redis，支援語義搜尋召回。
三種集成模式
| 模式 | 特點 | 適用場景 |
|---|---|---|
| 框架管理服務 | 最簡單，ADK 自動管理生命週期 | 快速原型 |
| LLM 控制 REST 工具 | 最靈活，Agent 決定何時存取記憶 | 複雜推理 |
| MCP 工具 | 最可移植，跨框架複用 | 多框架環境 |
RAG 搜尋工具
提供四種 RedisVL 搜尋工具：向量搜尋、混合搜尋（向量+關鍵詞）、純文本搜尋、範圍搜尋，以及語義快取層避免重複 LLM API 呼叫。
透過配置替換可無縫從原型遷移到生產，語義快取可大幅降低 API 成本。
Cloudflare iMARS: How We Built Our Internal AI Engineering Stack
Cloudflare Blog · 2026-04-20
Cloudflare 耗時 11 個月透過內部虎隊 iMARS（Internal MCP Agent/Server Rollout Squad）構建 AI 工程基礎設施，目前覆蓋 60% 員工及 93% 研發部門。
使用規模
- 3,683 位活躍用戶（過去 30 天）
- 47,950,000 次 AI 請求 / 月
- 24,137,000,000 個令牌通過 AI Gateway 處理
- 5,183,000,000 個令牌在 Workers AI 上處理
- 週合併請求數從 5,600 增至 8,700+（提升 55%）
技術架構分層
平台層：透過 Cloudflare Access 處理認證和零信任策略，每個 LLM 請求通過 AI Gateway 路由，實現供應商管理、成本追蹤和資料保留。
知識層：集成 Backstage 服務目錄（2,055 個服務、228 個 API、544 個系統），並要求每個倉庫提供 AGENTS.md 上下文檔案。
工具層：MCP 門戶聚合 13 個生產伺服器，暴露 182+ 工具，整合 Backstage、GitLab、Jira、Sentry、Elasticsearch、Prometheus、Google Workspace 等系統。
AI 代碼審查覆蓋 100% 倉庫，月均 510 萬次 Gateway 請求。這是目前最完整的企業 AI 工程基礎設施案例之一，AGENTS.md 規範值得其他組織借鑒。
Introducing Redis Feature Form: An Enterprise-Grade Feature Store for Production ML
Redis Blog · 2026-04-20
Redis 收購 Featureform 後推出 Redis Feature Form，為生產機器學習提供企業級託管特徵存儲平台，解決批處理與串流管道統一問題。
核心功能
- 統一管道：改進鋪磁、回填和增量更新，減少自訂管道開發工作量
- 多租戶隔離：透過工作區在提供者、資料、認證和可觀測性層面完全隔離
- 細粒度工作控制：支援規劃和影響分析、分割物化、基於隊列的工作管理
- 原子 DAG 更新：圖級變更管理，支援清潔的回滾和完整變更歷史
- 增強 RBAC：工作區範圍存取控制、API 金鑰對、審計日誌、mTLS
適用場景
欺詐偵測、信用評分、個人化推薦、即時特徵一致性要求的生產 ML 工作負載。對於需要保證訓練和推理使用相同特徵定義的系統，統一特徵存儲可消除 training-serving skew 問題。
來源：Cloudflare Blog, Datadog, Meta Engineering Blog, Redis Blog