Datadog 與 ClickHouse 合作:全保真日誌留存加聯邦搜尋
ClickHouse Blog · 2026-06-10
2026 年 6 月 10 日,Datadog 與 ClickHouse 宣布策略合作,讓企業可以直接將日誌路由至 ClickHouse Cloud,同時保留在 Datadog Log Explorer 搜尋的能力。兩項功能目前均以 Private Preview 形式提供,需申請加入方可使用。
背景
現代可觀測性平台面臨成本與資料保真度的兩難:完整留存所有遙測資料費用高昂,但降取樣又會在排查問題時留下盲區。Datadog 的傳統架構要求日誌先進入其自身的攝取管線,無法讓客戶將大量冷資料留在低成本的外部存儲中並即時查詢。ClickHouse 以其高壓縮率與極低查詢延遲著稱,成為承接這類大規模日誌的理想選擇。
核心改動
此次合作引入兩項獨立但互補的能力。其一是在 Datadog Observability Pipelines 新增 ClickHouse 原生目的地,日誌在送達 ClickHouse 前可於管線中完成解析、富化、過濾、轉換與脫敏,無需額外的 ETL 工具。其二是聯邦搜尋(Federated Logs),讓查詢直接在 ClickHouse 上執行,結果呈現於 Datadog Log Explorer,使用者不需要離開熟悉的操作介面。
架構細節
資料流向為:原始日誌 → Datadog Observability Pipelines(預處理)→ ClickHouse Cloud(儲存)。聯邦搜尋採計算與儲存分離的模型,查詢引擎下推至 ClickHouse,不需要將資料搬回 Datadog 的攝取層。整合方案與 OpenTelemetry 相容 schema,也支援 Managed ClickStack 部署形式。此外,Datadog 亦支援查詢 Databricks 與 Datadog Archives 等其他外部資料源,ClickHouse 是其中一個受支援的選項。
影響範圍
對需要長期保留大量日誌但預算有限的組織而言,這套架構可以讓熱資料留在 Datadog 而冷資料卸載至 ClickHouse,兼顧查詢體驗與儲存成本。目前兩項功能均為 Preview,正式 GA 時程未公布;有意試用者可至 Datadog 產品預覽頁面申請。
原始來源:ClickHouse Blog — Datadog and ClickHouse partner to bring full-fidelity data to modern observability
AI Agent 一指佈建:ClickHouse 與 Postgres 登陸 Stripe Projects
ClickHouse Blog · 2026-06-10
2026 年 6 月 10 日,ClickHouse 宣布加入 Stripe Projects 生態系,讓 AI Agent 與開發者可透過單一指令在 ClickHouse Cloud 上完成資料庫佈建並取得可用憑證。同時宣布的還有 ClickHouse Cloud 上 Postgres 全受管服務進入公開測試(Public Beta)。
原本的問題
AI Agent 在執行任務時常需要臨時建立資料庫,但傳統流程要求人工開通帳號、設定存取金鑰、手動填入環境變數,整個過程無法在非互動式的 Agent 執行環境中自動完成。Stripe Projects 的出現正是為了解決這個障礙,它透過 CLI 將服務佈建、憑證管理與帳務整合為一套自動化管線。
採用的方法
Stripe Projects 作為一個 Stripe CLI 外掛(需 stripe-cli ≥ 1.40.0),安裝後提供 stripe projects add 系列指令。ClickHouse 在此平台上提供兩種服務:
- clickhouse/clickhouse:面向高攝取、高並發分析場景的 ClickHouse 原生服務
- clickhouse/postgres:運行於 ClickHouse Cloud NVMe 儲存之上的全受管 Postgres(Public Beta)
佈建流程如下:
stripe projects init my-app
stripe projects add clickhouse/clickhouse
stripe projects add clickhouse/postgres完成後憑證自動寫入 .env,並以加密形式備份於 Stripe Secret Store,Agent 讀取環境變數即可立即連線,無需任何人工介入。
規格細節
ClickHouse 也隨之推出專為 Agent 設計的新 CLI 工具 clickhousectl(需 >v0.3.0),提供結構化輸出,適合在非互動式腳本中解析資料庫狀態。Stripe Projects 目前支援超過 50 家服務提供商,涵蓋資料庫、認證、AI 模型、監控等類別,統一由 Stripe 負責帳務結算,可設置消費上限(stripe projects billing update --limit <amount>)。
影響範圍
這項整合對 AI Agent 開發工作流有直接影響:Agent 可在執行期動態佈建所需的資料儲存層,且整個過程不需要離開程式執行環境。對於多租戶 SaaS 或需要隔離沙箱的測試場景,此模式可大幅縮短資料庫就緒時間。ClickHouse Cloud 上的 Postgres Public Beta 亦值得關注,它讓既有 Postgres 生態工具(ORM、遷移框架)可直接操作 ClickHouse Cloud 的底層儲存。
原始來源:ClickHouse Blog — Agents can now provision ClickHouse and Postgres on ClickHouse Cloud、Stripe Projects 文件
PgDog 完成 $5.5M 種子輪融資,以 Rust Proxy 解決 Postgres 橫向擴展難題
PgDog Blog · 2026-06-10
2026 年 6 月 10 日,PgDog 宣布完成 $5.5M 種子輪融資,投資方包含 Basis Set、Y Combinator 與 Pioneer Fund。PgDog 是一個以 Rust 撰寫的 PostgreSQL Proxy,目標是讓 Postgres 在不改動應用程式的情況下實現橫向分片與連線池管理。
原本的問題
Postgres 在單節點垂直擴展達到極限後,傳統解法是切換至 MongoDB、DynamoDB 等原生支援水平擴展的資料庫,但這代表遷移成本、資料一致性保證的喪失,以及對既有 SQL 生態的放棄。現有的 Postgres 分片方案(如 Citus)往往需要侵入式改動,或依賴特定的托管平台。PgBouncer 等連線池工具雖然成熟,但不具備分片能力。
採用的方法
PgDog 作為網路層 Proxy,完整實作 PostgreSQL wire protocol,應用程式只需修改 DATABASE_URL 指向 PgDog,Proxy 在 OSI Layer 7 解析 SQL 並自動決定路由策略。其核心功能包含:
- 連線池(Transaction / Session 模式):單機可管理數千條並發連線,內建
SET陳述句的智慧處理 - 讀寫分離:透過 Postgres 原生解析器判斷 SELECT / DML,自動分發至主節點或複本(支援 Round Robin、Random、Least-active-connection)
- 分片(HASH / LIST / RANGE):支援分區鍵路由,跨分片寫入透過兩階段提交(2PC)保證原子性
- Re-sharding:利用邏輯複寫在背景完成資料搬遷,不需停機
- 健康檢查與自動 Failover:即時偵測節點狀態並切換
- Rust 插件:可撰寫自訂路由邏輯
規格細節
PgDog 以 Rust 撰寫(佔程式碼庫 84.4%),建構於 Tokio 非同步執行時與 bytes crate 之上,以最小化記憶體配置為設計目標。目前版本為 v0.1.43(2026-06-04 發布),授權採 AGPL v3,允許內部使用與私有修改而不需強制開源。部署方式為 Docker,無外部依賴,支援本地開發、自建機房、雲端帳號等場景。
實際效果
根據官方公告,PgDog 目前在生產環境處理每秒超過 200 萬次查詢,管理逾 20 TB 的分片資料,Docker 映像拉取次數達 140 萬次。這些數字顯示已有一定規模的早期採用者在正式生產中使用。專案原始碼可於 GitHub(pgdogdev/pgdog) 取得,文件位於 docs.pgdog.dev。
原始來源:PgDog Blog — PgDog is funded and coming to a database near you、GitHub — pgdogdev/pgdog