資料與儲存 2026 年 5 月 28 日

2026-05-28 — ClickHouse Open House 2026、Redis CRDT Active-Active、DuckDB 1.5.3 Quack

primary=https://clickhouse.com/blog/open-house-2026-day-1 primary=https://redis.io/en/blog/how-crdts-power-active-active-database-replication/ primary=https://duckdb.org/2026/05/20/announcing-duckdb-153.html

ClickHouse Open House 2026:跨區域複製、6x JOIN 提速、Postgres CDC、$250M ARR 里程碑

ClickHouse Blog · 2026-05-27

ClickHouse Open House 2026 Day 1 集中發布多項架構升級,公司同日宣布突破 $250M ARR 與 4,000 客戶。技術發布涵蓋高可用複製、分散式查詢執行、Postgres 整合、JOIN 效能改進及 AI agent 平台。

Cross-Region Replication 與 Postgres 整合

Cross-Region Replication(Private Preview) 提供主動-被動故障切換,同步資料複製到次要區域,恢復時間在分鐘級、恢復點在秒級。ClickHouse Postgres(Public Beta) 在效能上宣稱較 AWS RDS 多 5x TPS,透過本地 NVMe 儲存消除網路瓶頸;支援雙機備援、連續 WAL 歸檔到 S3 以及 point-in-time recovery。pg_clickhouse 開源擴充讓 Postgres 工作階段可直接查詢 ClickHouse 表,投影、過濾、聚合在 ClickHouse 端執行。

JOIN 效能改進

整體 JOIN 效能提升 6x 以上,改進來源包含:相關子查詢(correlated subquery)支援、Lazy materialization、Runtime filters、自動 join reordering。TPC-H scale factor 100 的多節點測試中,八節點分散式執行耗時 54.7 秒,較單節點 117.6 秒提升約 2x。效能已達到 Snowflake、BigQuery、Databricks 水準。

分散式查詢執行與 Iceberg 寫入

Multi-Stage Distributed Queries(Private Preview)支援在執行階段間重新分區中間資料,解決大型 JOIN 與高基數聚合的瓶頸。Lakehouse 方面,新增 Iceberg 表的寫入支援,透過 Unity Catalog 與 Microsoft OneLake,實現 ClickHouse 與外部 lakehouse 系統之間的雙向工作流。

ClickHouse Agents(Public Beta)

以 Claude 為後端的 agentic 分析服務,提供無程式碼代理建構器、沙箱化程式碼直譯器、共享 artifact,以及基於 LibreChat 的多代理工作流。MCP-as-a-Service 提供全託管的遠端 MCP 伺服器,具細粒度存取控制,支援從任何 MCP 相容系統拉取上下文。

原始來源:ClickHouse Blog — Open House 2026 Day 1ClickHouse $250M ARR 公告


CRDT 如何驅動 Redis Active-Active 複製:衝突解析從應用層下沉至資料型別

Redis Blog · 2026-05-27

Redis 的 Active-Active Geo Distribution 功能依賴 Conflict-free Replicated Data Types(CRDTs) 實現多區域同步寫入且不丟失資料。本文從架構層解析 CRDT 的衝突解析機制、Redis 支援的資料型別,以及與傳統複製策略的取捨比較。

核心問題:主動-主動複製的衝突三角

多區域同時接受寫入時,三種策略各有代價:

策略寫入延遲故障行為
單主(Single-leader)高(跨區域 ~100ms)單點故障
Last Write Wins靜默資料遺失
Active-Active + CRDT低(本地操作)確定性收斂,無靜默遺失

CRDT 合併語意

CRDT 的關鍵思想:衝突解析規則是資料型別定義的一部分,不依賴應用邏輯。各型別的合併行為如下:

  • Counter:兩端的增量都保留,最終值 = 所有更新的總和
  • Set:所有新增操作保留,最終集合 = 所有新增的聯集
  • Hash:不同欄位的更新乾淨合併(field-level merge)
  • String:退回 Last Write Wins

以庫存場景為例:Tokyo 與 Frankfurt 同時從 1 件扣減 1 件,CRDT counter 記錄 1 + (-1) + (-1) = -1,負值會觸發應用層告警(超賣),而 LWW 方案兩端均寫入 0,靜默遺失一筆訂單。

Redis 支援的 CRDT 型別

String(LWW fallback)、Hash、List、Set、Sorted Set、Stream、JSON、HyperLogLog 均支援 CRDT 語意。不適合 CRDT 的場景:金融轉帳(需唯一性與不變量保證)、需要在提交前驗證或拒絕更新的工作負載。

原始來源:Redis Blog — How CRDTs Power Active-Active Database Replication


DuckDB 1.5.3:Quack 協議正式整合、Iceberg MERGE INTO、AWS IRSA 支援

DuckDB Blog · 2026-05-20

DuckDB 1.5.3 定位為「不尋常的 patch release」:除常規 bug 修正外,包含 Quack 用戶端-伺服器協議的自動整合、Iceberg 擴充的重大功能擴充、AWS Web Identity 認證支援,以及 HTTP proxy 環境變數支援。

Quack 協議:DuckDB 進入 Client-Server 架構

Quack 是 DuckDB 的新遠端存取協議,讓 DuckDB 能以用戶端-伺服器模式部署。1.5.3 將 Quack 作為核心擴充,在首次使用時自動安裝與載入,無需手動設定。DuckLake(DuckDB 的資料湖 catalog 系統)現已支援以 Quack 作為 catalog 資料庫,啟用遠端資料湖操作。注意:Quack 目前仍為 beta,協議可能發生 breaking change。

Iceberg 擴充重大增強

此版本大幅擴充 Iceberg 讀寫能力:

  • MERGE INTO 支援:對 Iceberg 表執行 upsert 操作
  • 分區表的 INSERT / UPDATE:支援 truncate 與 bucket transforms
  • CTAS(Create Table As Select)透過 ADBC
  • Schema property 管理函式ALTER TABLE 支援
  • GEOMETRY 型別讓地理空間資料可儲存於 Iceberg 表

AWS 擴充與 Proxy 支援

AWS 擴充新增 Web Identity Chain(IRSA)支援,讓 Kubernetes Pod 透過 ServiceAccount token 存取 S3;並加入 RDS/Aurora 的 IAM 認證。HTTP_PROXY 環境變數現在會自動設定 DuckDB 的 proxy 配置,確保擴充安裝流量也通過 proxy,解決防火牆環境的安裝問題。Linux 版本的 jemalloc allocator 已靜態連結進核心。

原始來源:DuckDB Blog — DuckDB 1.5.3


End of article
0
Would love your thoughts, please comment.x
()
x