Das „Open Table Iceberg Snap Pack“ erweitert SnapLogic-Pipelines um native Apache-Iceberg-Konnektivität. Es stellt eine Verbindung zu einem Iceberg-REST-Katalog (z. B. Polaris) her, der auf einem S3-kompatiblen Objektspeicher basiert, sodass Pipelines mit Spark SQL auf von Iceberg verwaltete Tabellen zugreifen und diese bearbeiten können, ohne die Plattform verlassen oder benutzerdefinierten Code schreiben zu müssen. Das Pack unterstützt zentrale Lakehouse-Funktionen wie „Time-Travel“-Abfragen, die automatische Tabellenerstellung mit Schema-Inferenz, mehrere Speicherformate sowie Iceberg-Partitionstransformationen. Es richtet sich an Teams, die moderne Data-Lakehouse-Pipelines auf Basis von Apache Iceberg (Iceberg 1.6.1, Spark 3.5.7) entwickeln.
Was Sie tun können
Mit diesem Snap Pack können Sie gefilterte/sortierte SELECT-Abfragen auf Iceberg-Tabellen ausführen (einschließlich historischer Snapshots über „Time Travel“), Daten in neue oder bestehende Iceberg-Tabellen mit automatischer Schema-Inferenz und Partitionierung einfügen sowie beliebige Spark SQL-DDL-/DML-Anweisungen (CREATE, ALTER, DROP, MERGE, DELETE) direkt im Iceberg-Katalog ausführen.
Warum das wichtig ist
Offene Tabellenformate wie Iceberg entwickeln sich zum Rückgrat moderner Data-Lakehouse-Architekturen, doch ihre Integration in ETL-/ELT-Pipelines erfordert in der Regel maßgeschneiderten Spark-Code oder separate Tools. Dieses Snap Pack bietet SnapLogic-Kunden einen pipeline-nativen Low-Code-Zugriff auf von Iceberg verwaltete Data Lakes und reduziert so den technischen Aufwand für Lakehouse-Initiativen.
Dieses Snap-Paket umfasst die folgenden wichtigsten Funktionen
- Zeitreise – Abfrage historischer Tabellenversionen anhand der Snapshot-ID oder des Zeitstempels
- Automatische Tabellenerstellung mit Schema-Inferenz aus vorgelagerten Dokumenten
- Flexible Speicherformate: Parquet, ORC, Avro mit konfigurierbaren Komprimierungscodecs (Snappy, gzip, zstd, lz4)
- Partitionierungsstrategien unter Verwendung von Iceberg-Transformationen: Identität, Jahr, Monat, Tag, Stunde, Bucket
- Schema-Weitergabe zwischen „Select“- und „Insert“-Snaps über sekundäre Metadatenansichten
Dieses Snap-Paket enthält die folgenden Snaps
- Open Table Iceberg – Select — Führt SQL-SELECT-Anweisungen für einen Iceberg-Katalog aus, mit Unterstützung für Filterung, Sortierung, Paginierung und Zeitreise für historische Momentaufnahmen.
- Open Table Iceberg – Insert — Fügt Dokumentdaten aus vorgelagerten Systemen in Iceberg-Tabellen ein, mit automatischer Tabellenerstellung, mehreren Speicherformaten und Partitionierung.
- Open Table Iceberg – Ausführen — Führt beliebige Spark-SQL-DDL-/DML-Anweisungen (CREATE/ALTER/DROP/INSERT/MERGE/DELETE) für den Iceberg-Katalog aus.
Weitere Informationen
Weitere Informationen finden Sie auf der Dokumentationsseite.
