Le pack Open Table Iceberg Snap Pack apporte une connectivité native à Apache Iceberg aux pipelines SnapLogic. Il se connecte à un catalogue REST Iceberg (tel que Polaris) s’appuyant sur un stockage d’objets compatible S3, permettant ainsi aux pipelines de lire et d’écrire dans des tables gérées par Iceberg à l’aide de Spark SQL, sans quitter l’ plateforme e ni écrire de code personnalisé. Ce pack prend en charge les fonctionnalités essentielles du « lakehouse », telles que les requêtes « time travel », la création automatique de tables avec inférence de schéma, la prise en charge de plusieurs formats de stockage et les transformations de partitions Iceberg. Il s’adresse aux équipes qui développent des pipelines modernes de « data lakehouse » basés sur Apache Iceberg (Iceberg 1.6.1, Spark 3.5.7).
Ce que vous pouvez faire
Grâce à ce Snap Pack, vous pouvez exécuter des requêtes SELECT filtrées ou triées sur des tables Iceberg (y compris des instantanés historiques via « Time Travel »), insérer des données dans des tables Iceberg nouvelles ou existantes avec inférence automatique du schéma et partitionnement, et exécuter des instructions DDL/DML Spark SQL arbitraires (CREATE, ALTER, DROP, MERGE, DELETE) directement sur le catalogue Iceberg.
Pourquoi c'est important
Les formats de table ouverts tels qu’Iceberg deviennent la colonne vertébrale des architectures modernes de « data lakehouse », mais leur intégration dans des pipelines ETL/ELT nécessite généralement du code Spark personnalisé ou des outils distincts. Ce Snap Pack offre aux clients de SnapLogic un accès « low-code » et natif aux pipelines pour les lacs de données gérés par Iceberg, réduisant ainsi la charge de travail technique liée aux initiatives de « lakehouse ».
Ce Snap Pack comprend les fonctionnalités principales suivantes :
- Voyage dans le temps — consultation des versions historiques des tables à l'aide d'un ID de snapshot ou d'un horodatage
- Création automatique de tables avec inférence de schéma à partir de documents en amont
- Formats de stockage flexibles : Parquet, ORC, Avro avec des codecs de compression configurables (snappy, gzip, zstd, lz4)
- Stratégies de partitionnement utilisant les transformations « Iceberg » : identité, année, mois, jour, heure, tranche
- Propagation du schéma entre les instantanés « Select » et « Insert » via des vues de métadonnées secondaires
Ce pack « Snap » contient les Snaps suivants :
- Open Table Iceberg – Select — Exécute des instructions SQL SELECT sur un catalogue Iceberg, avec prise en charge du filtrage, du tri, de la pagination et du « time travel » pour les instantanés historiques.
- Open Table Iceberg – Insert — Insère les données des documents en amont dans les tables Iceberg, avec création automatique de tables, prise en charge de plusieurs formats de stockage et partitionnement.
- Open Table Iceberg – Exécuter — Exécute des instructions DDL/DML Spark SQL arbitraires (CREATE/ALTER/DROP/INSERT/MERGE/DELETE) sur le catalogue Iceberg.
Pour en savoir plus
Pour en savoir plus, veuillez consulter la page de documentation.
