2026-06-19 — Agent 隱私洩漏、LoRA 替代技術實測、開放模型 Agentic 評估框架三篇齊發

MosaicLeaks：研究型 AI Agent 的查詢日誌如何洩漏企業機密

ServiceNow Research · arXiv:2605.30727 · 2026-06-18

背景

企業級深度研究 Agent 正同時存取私有文件與公開網路，這種混合查詢架構帶來了一個過去被忽視的隱私風險。ServiceNow Research 的 Alexander Gurung、Spandana Gella 等人於 2026 年 6 月發表論文 arXiv:2605.30727，揭示所謂「馬賽克效應」（mosaic effect）：攻擊者即使無法直接存取私有文件，僅憑 Agent 發出的搜尋查詢序列，就能拼湊出足夠多的企業敏感資訊。

問題的關鍵在於查詢本身，而非 Agent 的回應內容。當 Agent 為了回答一個涉及私有資料的多跳問題而依序發出多個外部搜尋請求時，每一筆查詢單獨看起來無害，但整體序列卻能讓觀察者推斷出基礎設施遷移時程、廠商關係等機密。

MosaicLeaks 基準與威脅模型

研究團隊建構了 MosaicLeaks Benchmark，共 1,001 條多跳研究鏈（559 訓練、98 驗證、344 測試），每條鏈交織著需查詢私有企業文件與公開網路語料庫的子問題。評估採用三個遞增的洩漏層級：

• Intent Leakage（意圖洩漏）：對手能推斷 Agent 正在調查哪個主題
• Answer Leakage（答案洩漏）：對手僅憑查詢日誌就能回答私有問題
• Full-Information Leakage（完整資訊洩漏）：對手能獨立陳述可驗證的私有事實

Agent 架構基於 DRBench 框架，搭載 Plan、Choose、Read、Resolve 四種工具。對手模型是一個獨立的 LLM，只觀察 Agent 對外部搜尋引擎發出的查詢，不讀取任何私有文件或 Agent 的最終回應。

Privacy-Aware Deep Research（PA-DR）訓練方法

研究的核心貢獻是 PA-DR 強化學習框架，融合兩種獎勵訊號：其一是「情境式任務獎勵」（situational task rewards），比較相互匹配的 Agent 行動呼叫而非完整軌跡，使訓練樣本效率提升 5–6 倍；其二是「學習型隱私分類器」獎勵，對直接洩漏與馬賽克洩漏風險分別給予懲罰。

實驗在 Qwen3-4B-Instruct 上進行，結果如下：

純任務訓練雖然提升了答題準確率，但洩漏率反而上升了 52%，顯示對效能的最佳化會使 Agent 更積極地在查詢中揭示語境細節。PA-DR 訓練後的 Agent 發出的查詢反而更多，但去除了足以還原私有資訊的關鍵詞彙。

影響範圍

零樣本隱私提示詞（privacy prompting）被證明效果有限，無法可靠阻止洩漏，這意味著僅靠系統提示詞加入「不要洩漏機密」這類指令，並不足以保護企業資料。MosaicLeaks 框架公開了基準資料集，讓組織能夠在部署研究型 Agent 之前，針對自有工具鏈測試隱私風險。隨著企業大規模採用連結內外網資料的 RAG Agent，查詢層面的隱私防護將成為不可忽視的工程需求。

原始來源：arXiv:2605.30727（論文）、Hugging Face Blog（ServiceNow）

超越 LoRA：PEFT 函式庫裡那些被低估的微調技術

Hugging Face PEFT · 2026-06-18

背景

LoRA（arXiv:2106.09685）統治著參數高效微調（PEFT）的市場：Hugging Face 上所有提及某種 PEFT 技術的模型卡中，98.4% 只寫了 LoRA；圖像生成領域約 95% 的自訂檢查點也都是 LoRA 格式。LoRA 由 Microsoft 的 Edward J. Hu 等人提出，其核心思路是凍結預訓練權重、僅訓練注入 Transformer 層的低秩分解矩陣，推論時無額外延遲，對 GPT-3 175B 可削減 10,000 倍可訓練參數量與 3 倍 GPU 記憶體。

然而，Hugging Face 的 PEFT 函式庫目前已實作超過 40 種不同技術。Benjamin Bossan 等人於 2026 年 6 月發布的評測報告，試圖用實驗數據回答：在哪些指標上，其他技術能夠擊敗 LoRA？

評測設計與指標

評測分為兩條賽道：LLM 數學推理（使用 MetaMathQA 基準，模型為 Llama-3.2-3B）與圖像概念學習（使用自定義 Dreambooth 測試，模型為 FLUX.2-klein-base-4B）。指標涵蓋測試準確率或相似度分數、訓練 VRAM 用量、執行時間，以及檢查點大小，並採用 Pareto 前沿分析——不被其他方法在所有指標上同時主導的技術，才被視為有效替代方案。

核心比較結果

LLM 數學任務（Llama-3.2-3B on MetaMathQA）：

圖像生成任務（FLUX.2-klein-base-4B，DINO 相似度）：

OFT 在圖像生成任務上嚴格優於 LoRA——同時獲得更高相似度與更少顯示記憶體，是兩項指標均處於 Pareto 前沿的罕見案例。Lily 在數學任務上的準確率最高，但代價是略高的 VRAM 需求。

互通性工具與實用考量

PEFT 函式庫提供了將非 LoRA 適配器轉換為 LoRA 格式的工具，以最小的性能損失換取與 vLLM 等下游推論框架的相容性。這意味著即使在訓練階段選擇 OFT 或 Lily，仍可透過格式轉換在生產部署中使用 LoRA 的生態工具鏈。報告同時釋出了互動式比較空間（Hugging Face Space: PEFT Method Comparison），讓使用者依照自己的任務類型與硬體限制篩選最適合的方法。

原始來源：PEFT GitHub 倉庫、LoRA 論文 arXiv:2106.09685、Hugging Face Blog

你的工具鏈夠 Agentic 嗎？用開放模型對自有函式庫做基準測試

Hugging Face · GitHub: is-it-agentic-enough · 2026-06-18

背景

Agentic 評估的挑戰不只是「對不對」，更是「怎麼做到的」。Hugging Face 於 2026 年 6 月發布 agent-eval 框架與配套部落格文章，探討開放模型在使用真實函式庫工具時的行為差異——用了多少 token、花了多少時間、遇到了多少錯誤，以及是否選擇了正確的工具呼叫路徑。評測對象是 Hugging Face 自有的 transformers Python 函式庫，涵蓋 Kimi-K2.6、GLM-5.1、MiniMax-M2.7 等大模型，以及 Qwen3-4B、Qwen3-14B 等小模型。

三層評估架構

框架定義了三種輔助資訊層級，模擬 Agent 在不同環境下操作同一個函式庫的情境：

• Bare（裸執行）：僅 pip install，無任何額外文件，等同於最小化生產環境
• Clone（程式碼庫複製）：完整原始碼置於工作目錄，Agent 可自行探索
• Skill（技能包）：精選文件加上使用範例，以結構化格式注入 Agent 上下文

評測工作流以 YAML 矩陣定義模型×版本的組合，透過 Hugging Face Jobs 平行執行於相同硬體，結果同步至 Hugging Face Buckets，防止任務失敗導致數據遺失。任務範例包括 classify-sentiment、fill-mask、image-classify，Coding Agent 採用開源工具 pi（@mariozechner/pi-coding-agent）。

關鍵發現：Skill 層級對大小模型效果相反

當研究者提交一個同時新增 CLI 工具與 Skill 文件的 commit 時，結果出現顯著分歧。大型模型在 Skill 層級下速度更快、Token 使用量更少，符合預期的效率提升；但 Qwen3-14B 在 classify-sentiment 任務上的準確率從 Clone 層級的 100% 驟降至 Skill 層級的 0%。

原因在於：小模型將 Skill 文件中描述的工具誤認為可直接執行的 Python API，產生了概念混淆——把「文件說明」當成「工具定義」。這個發現揭示了 Agentic 系統中「情境長度」與「模型容量」之間的根本性張力：對大模型是加速器的輔助資訊，對小模型可能是干擾源。

影響範圍

agent-eval 的設計使任何函式庫都可以接入同一套評估管線，只需定義任務 YAML 與對應的環境設定檔（profile）。靜態 HTML 報告提供三個分析頁籤：Overview（成功率、延遲、Token 用量）、Coverage（完成度熱圖）、Results（每項任務的逐步分解）。對於計劃為開源專案或內部工具撰寫 Agentic 整合的團隊，這套框架提供了一個可量化「你的工具鏈對 Agent 是否友善」的標準方法論。

原始來源：GitHub: is-it-agentic-enough、Hugging Face Blog