Cloudflare 在快取層導入 Zstandard 轉碼,不加硬體就把可用容量提升近 3 倍
Cloudflare Blog · 2026-09-01
Cloudflare 在 2026 年 9 月 1 日發布一篇工程部落格,說明團隊如何在其快取系統中插入一層「內容轉碼」(cache transcoding):在物件寫入磁碟前先用 Zstandard(zstd)重新壓縮,回應使用者前才視情況解壓縮回原始格式。這套機制已在 10 台快取伺服器上,對超過一百萬筆真實請求做過測試。目的是在不增購硬體的前提下擴大有效快取容量。
原本的問題
Cloudflare 的快取會把來源站(origin)回應的物件,依照 origin 提供的 Content-Encoding 原樣寫入磁碟。問題是很多 origin 對文字類回應根本沒有做壓縮,例如 JSON、CSS、JS 或 HTML,這些物件會以未壓縮狀態長期占用磁碟。由於快取容量受限於實體硬碟與記憶體,未壓縮儲存等於提早把長尾物件擠出快取,縮短了可快取的資料集,也讓團隊必須靠添購硬體才能擴充容量。
這個專案源自 Cloudflare 的 1.1.1.1 Intern Program,目標是驗證:如果在快取內部把位元組重新壓縮——與實際送給使用者的編碼方式脫鉤——能否在不動硬體規格的情況下把可用空間榨出來。
採用的方法
整套轉碼邏輯建在 Pingora 之上,也就是 Cloudflare 自研、以 Rust 撰寫、2022 年起取代 NGINX 的代理框架。當快取未命中時,回應主體會先以 Zstandard(zstd,Yann Collet 於 2016 年開源、後由 IETF 訂為 RFC 8878 的壓縮格式,內部結合 LZ77 式字典比對與 FSE/Huffman 熵編碼)在 level 3 壓縮後才寫入磁碟,並在中繼資料標記該物件已被壓縮。
快取命中時,只有面向用戶端的那一跳才會把物件解回原始格式;透過 Tiered Cache 架構,壓縮後的物件可以在上層與下層快取節點之間直接搬移,不需要每經過一層就重新編解碼一次。
轉碼並非套用在所有物件上:資格限制在狀態碼 200、未設定 Content-Encoding、Content-Type 屬於可壓縮文字、且已知 Content-Length 至少 4 KiB 的回應。團隊發現這個門檻只排除了原本符合資格位元組中的約 1%。測試語料中,可壓縮文字類請求占整體請求的 67.3%,但只占位元組數的 22.3%;實測物件大小約落在 195 KiB 與 272 KiB 兩組。
實際效果
| 指標 | 數值 |
|---|---|
| 壓縮比 | 約 2.834x(平均壓到原尺寸的三分之一左右) |
| 編碼成本(每次 cache fill 付一次) | 4.31 ns/byte,約 232 MB/s |
| 解碼成本(每次 serve 都要付) | 1.56 ns/byte,約 641 MB/s |
| 對比 Brotli | 速度快 42%,檔案大小相近 |
| 對比 gzip | 檔案小 11.3%,速度相當 |
在流量與快取命中假設下,額外 CPU 負擔被形容為「小幅增加,僅幾個百分點」。作者也坦言測試語料是刻意挑選過的高可壓縮性文字集,結果需要在更廣泛的流量組合下重新驗證,才能推論到 Cloudflare 全網的實際節省規模。
原始來源:Cloudflare Blog - How we could save petabytes of cache storage with Zstandard and Pingora
CrowdStrike 用紅藍雙智能體協同演化訓練資安模型,實地測試偵測涵蓋率翻 2.5 倍
NVIDIA Technical Blog · 2026-09-01
NVIDIA 與 CrowdStrike 在 2026 年 9 月 1 日的 Fal.Con 大會上公布技術細節,說明雙方如何用一套攻防協同演化(coevolution)迴圈訓練出專用資安模型 SafeMind。系統核心是紅隊攻擊智能體與藍隊防禦智能體互相對抗、互相訓練,而不是直接套用通用前沿大模型做偵測。CrowdStrike Cyber Superintelligence Lab 表示其中的 Blue Solano 模型,準確率高於受測的頂尖前沿模型,成本卻低了 99%。
原本的問題
傳統偵測規則靠人工撰寫與更新,追不上攻擊手法的演進速度;直接套用通用前沿大模型做資安判讀又成本高昂、且缺乏對特定遙測 schema 與偵測語言的掌握。CrowdStrike 在公告中引用資料指出,AI 驅動的攻擊在過去一年成長了 89%,而最快的電子犯罪(eCrime)入侵到橫向移動時間已縮短到 27 秒,迫使防禦端需要能在機器速度下自我演化的系統。
採用的方法
SafeMind 的協同演化迴圈分成四個階段:執行與擷取、處理與重建、產生與驗證、重測與調適,官方形容為「串成一個能以機器速度運作的可重複迴圈」。
- 紅隊(offensive)由 Recon、Assault、Compromise 三個子智能體執行攻擊路徑,CrowdStrike Falcon 感測器擷取完整遙測
- 藍隊(defensive)監看 Falcon 感測器資料、產生候選偵測規則、驗證後才推廣上線
Nemotron 3 Ultra負責防禦端的長上下文協調,重建攻擊序列並規劃偵測工程步驟Nemotron 3 Super被客製化為 CrowdStrike 的NL2LogScale模型,專職產生與修復 Falcon LogScale 查詢語言的偵測規則,與長上下文協調工作分離
Nemotron 3 Super 的客製化訓練包含三步:先做資安知識的持續預訓練,再用涵蓋 59 種程式化產生錯誤類型、共 9,349 筆偵測產生與多步修復範例做監督式微調,最後用 NVIDIA NeMo RL 搭配可驗證獎勵做強化學習——獎勵訊號由 NeMo Gym 實際在 Falcon LogScale 執行產生的查詢、比對回傳事件與正確答案的 F1 重疊率計算而來。
藍隊 harness 本身由六個元件組成:schema 知識庫、遙測落地(grounding)、專職偵測撰寫模型、產物語法檢查、對照擷取遙測重放驗證、獨立行為品質審查。整個模擬環境是依照 NVIDIA 自身的加速運算基礎架構建模,把一份經過清洗的自然語言規格轉譯成裝有真實 Falcon 感測器的受測目標環境。
實際效果
| 測試情境 | 開源管線(Nemotron) | 前沿模型基準 |
|---|---|---|
| 回測平均偵測率 | 41.9%(優化後管線) | 16.5%(預設 harness) |
| 實地測試(8 個未見過的攻擊)可泛化偵測比例 | 45%(11 條中 5 條) | 29%(35 條中 10 條) |
| 每條偵測平均涵蓋攻擊數 | 2.6 | 1.1 |
| 達到 Gold 等級、涵蓋全部 8 個攻擊的偵測數 | 3 條 | 0 條 |
優化後的開源管線相對預設 harness,整體偵測率提升約 2.5 倍。作者同時提醒限制:這次評測只涵蓋單一情境族群與小規模偵測集合,跨情境的泛化能力尚未驗證,不能直接外推到所有攻擊類型。
原始來源:NVIDIA Technical Blog - Building an Adaptive Agentic Cybersecurity System with NVIDIA Nemotron、NVIDIA Blog - NVIDIA and CrowdStrike Strengthen Agentic Cybersecurity Frontier