Il pacchetto Open Table Iceberg Snap Pack offre connettività nativa ad Apache Iceberg alle pipeline di SnapLogic. Si collega a un catalogo REST di Iceberg (come Polaris) supportato da uno storage a oggetti compatibile con S3, consentendo alle pipeline di leggere e scrivere tabelle gestite da Iceberg utilizzando Spark SQL senza uscire dalla piattaforma né scrivere codice personalizzato. Il pacchetto supporta le funzionalità principali del lakehouse, quali le query “time travel”, la creazione automatica di tabelle con inferenza dello schema, i formati di archiviazione multipli e le trasformazioni delle partizioni Iceberg. È destinato ai team che sviluppano moderne pipeline di data lakehouse basate su Apache Iceberg (Iceberg 1.6.1, Spark 3.5.7).
Cosa puoi fare
Con questo Snap Pack è possibile eseguire query SELECT filtrate/ordinate sulle tabelle Iceberg (comprese le istantanee storiche tramite Time Travel), inserire dati in tabelle Iceberg nuove o esistenti con inferenza automatica dello schema e partizionamento, nonché eseguire istruzioni DDL/DML Spark SQL arbitrarie (CREATE, ALTER, DROP, MERGE, DELETE) direttamente sul catalogo Iceberg.
Perché è importante
I formati di tabelle aperte come Iceberg stanno diventando la colonna portante delle moderne architetture di data lakehouse, ma la loro integrazione nelle pipeline ETL/ELT richiede in genere codice Spark personalizzato o strumenti separati. Questo Snap Pack offre ai clienti SnapLogic un accesso "low-code" e nativo alla pipeline ai data lake gestiti da Iceberg, riducendo i costi di sviluppo legati alle iniziative di lakehouse.
Questo Snap Pack include le seguenti funzionalità principali
- Viaggio nel tempo — interrogazione delle versioni storiche delle tabelle tramite ID snapshot o timestamp
- Creazione automatica di tabelle con inferenza dello schema dai documenti a monte
- Formati di archiviazione flessibili: Parquet, ORC, Avro con codec di compressione configurabili (snappy, gzip, zstd, lz4)
- Strategie di partizionamento che utilizzano le trasformazioni Iceberg: identità, anno, mese, giorno, ora, bucket
- Propagazione dello schema tra gli snapshot “Select” e “Insert” tramite viste secondarie dei metadati
Questo Snap Pack contiene i seguenti Snap
- Open Table Iceberg – Select — Esegue istruzioni SQL SELECT su un catalogo Iceberg, con supporto per il filtraggio, l'ordinamento, l'impaginazione e il "time-travel" per le istantanee storiche.
- Open Table Iceberg – Insert — Inserisce i dati dei documenti a monte nelle tabelle Iceberg, con creazione automatica delle tabelle, supporti di archiviazione multipli e partizionamento.
- Open Table Iceberg – Esegui — Esegue istruzioni DDL/DML Spark SQL arbitrarie (CREATE/ALTER/DROP/INSERT/MERGE/DELETE) sul catalogo Iceberg.
Per saperne di più
Per ulteriori informazioni, consulta la pagina della documentazione.
