DuckDB Iceberg v3:MERGE INTO upsert、ALTER TABLE schema 演化與二進位刪除向量
DuckDB · 2026-05-29
DuckDB v1.5.3 的 duckdb-iceberg 擴展新增 Apache Iceberg v3 完整支援,包含 MERGE INTO upsert 語法、純 metadata 的 ALTER TABLE schema 演化,以及 Puffin 格式的二進位刪除向量。這批功能讓 DuckDB 在 lakehouse ETL 場景的能力大幅補齊。
MERGE INTO:無需主鍵的 upsert
MERGE INTO target AS t
USING source AS s ON t.id = s.id
WHEN MATCHED THEN UPDATE SET value = s.value
WHEN NOT MATCHED THEN INSERT VALUES (s.id, s.value);merge-on-read 語意:以 positional deletes 標記舊版本,INSERT 新行。每行依條件獨立決定操作,變更透過 REST Catalog 傳播,確保 Spark、Flink、DuckDB 多引擎一致性。
ALTER TABLE:純 Metadata 修改
支援的操作:
RENAME TABLE、ADD COLUMN、RENAME COLUMN、DROP COLUMNSET format-version(將表格升級至 Iceberg v3)
這些操作不觸發資料檔案重寫,在 PB 級表格上幾乎瞬間完成。
Iceberg v3 新型別與刪除向量
v3 規格帶來 VARIANT(動態 JSON-like 型別)和 TIMESTAMP_NS,以及欄位預設值(schema-level defaults)。Puffin 格式的二進位刪除向量比 v2 的 Parquet-based positional deletes 體積顯著更小,掃描效率更高。DuckDB 根據 format-version 自動選擇刪除格式。尚未支援:Geography、Unknown 型別(預計 v2.0.0)。
ClickHouse Open House 2026 Day 2:十週年、dbt Fusion Rust 適配器、clickhouse-connect v1.0
ClickHouse · 2026-05-28
ClickHouse 在 Open House 2026 第二天慶祝開源十週年(2,600+ 貢獻者、48,000 GitHub stars),同步發布 House Mates 合作夥伴計畫(60+ 合作夥伴),以及多項客戶端、ecosystem 技術更新。最值得關注的是 dbt Fusion 適配器和 Python 原生非同步客戶端的正式推進。
dbt Fusion 適配器(Alpha)
ClickHouse 成為第一個與 dbt Labs 共同開發 Fusion 適配器的合作夥伴。Fusion 是以 Rust 編寫的新一代 SQL 編譯器,目前透過 CLI 的 Alpha 版提供,在 SQL 解析和編譯性能上預期顯著提升,並直接整合 ClickHouse 的原生型別系統。
clickhouse-connect v1.0(Python)
- 原生非同步客戶端(async/await 支援)
- 冷啟動時間提升 4×
- SQLAlchemy 整合
- Pandas 3.x 相容性
其他技術更新
- Apache Airflow 原生 Provider:ClickHouse hook 和 operator 進入官方 Airflow registry
- ClickStack MCP Server:25% 工具呼叫減少、2.5× 一致性提升
- Sigma ETL Cache Layer(Private Preview):預先物化資料集加速分析
clickhouse-cs 1.2.0(.NET):EntityFrameworkCore、Serilog sink、Aspire 整合