資料與儲存 2026 年 5 月 30 日

2026-05-30 — DuckDB Iceberg v3 MERGE INTO、ClickHouse Open House Day 2

primary=https://duckdb.org/2026/05/29/new-iceberg-features.html primary=https://clickhouse.com/blog/open-house-2026-day-2

DuckDB Iceberg v3:MERGE INTO upsert、ALTER TABLE schema 演化與二進位刪除向量

DuckDB · 2026-05-29

DuckDB v1.5.3 的 duckdb-iceberg 擴展新增 Apache Iceberg v3 完整支援,包含 MERGE INTO upsert 語法、純 metadata 的 ALTER TABLE schema 演化,以及 Puffin 格式的二進位刪除向量。這批功能讓 DuckDB 在 lakehouse ETL 場景的能力大幅補齊。

MERGE INTO:無需主鍵的 upsert

MERGE INTO target AS t
USING source AS s ON t.id = s.id
WHEN MATCHED THEN UPDATE SET value = s.value
WHEN NOT MATCHED THEN INSERT VALUES (s.id, s.value);

merge-on-read 語意:以 positional deletes 標記舊版本,INSERT 新行。每行依條件獨立決定操作,變更透過 REST Catalog 傳播,確保 Spark、Flink、DuckDB 多引擎一致性。

ALTER TABLE:純 Metadata 修改

支援的操作:

  • RENAME TABLEADD COLUMNRENAME COLUMNDROP COLUMN
  • SET format-version(將表格升級至 Iceberg v3)

這些操作不觸發資料檔案重寫,在 PB 級表格上幾乎瞬間完成。

Iceberg v3 新型別與刪除向量

v3 規格帶來 VARIANT(動態 JSON-like 型別)和 TIMESTAMP_NS,以及欄位預設值(schema-level defaults)。Puffin 格式的二進位刪除向量比 v2 的 Parquet-based positional deletes 體積顯著更小,掃描效率更高。DuckDB 根據 format-version 自動選擇刪除格式。尚未支援:GeographyUnknown 型別(預計 v2.0.0)。

原始來源:DuckDB Blog — New DuckDB-Iceberg Features


ClickHouse Open House 2026 Day 2:十週年、dbt Fusion Rust 適配器、clickhouse-connect v1.0

ClickHouse · 2026-05-28

ClickHouse 在 Open House 2026 第二天慶祝開源十週年(2,600+ 貢獻者、48,000 GitHub stars),同步發布 House Mates 合作夥伴計畫(60+ 合作夥伴),以及多項客戶端、ecosystem 技術更新。最值得關注的是 dbt Fusion 適配器和 Python 原生非同步客戶端的正式推進。

dbt Fusion 適配器(Alpha)

ClickHouse 成為第一個與 dbt Labs 共同開發 Fusion 適配器的合作夥伴。Fusion 是以 Rust 編寫的新一代 SQL 編譯器,目前透過 CLI 的 Alpha 版提供,在 SQL 解析和編譯性能上預期顯著提升,並直接整合 ClickHouse 的原生型別系統。

clickhouse-connect v1.0(Python)

  • 原生非同步客戶端(async/await 支援)
  • 冷啟動時間提升 4×
  • SQLAlchemy 整合
  • Pandas 3.x 相容性

其他技術更新

  • Apache Airflow 原生 Provider:ClickHouse hook 和 operator 進入官方 Airflow registry
  • ClickStack MCP Server:25% 工具呼叫減少、2.5× 一致性提升
  • Sigma ETL Cache Layer(Private Preview):預先物化資料集加速分析
  • clickhouse-cs 1.2.0(.NET):EntityFrameworkCore、Serilog sink、Aspire 整合

原始來源:ClickHouse Blog — Open House 2026 Day 2


End of article
0
Would love your thoughts, please comment.x
()
x