Le Snap Pack Snowflake CDC permet aux pipelines SnapLogic d'identifier et de capturer les modifications apportées aux données d'une base de données Snowflake, plutôt que de retraiter l'intégralité des ensembles de données. Il fonctionne en lisant les flux Snowflake Streams — le mécanisme natif de suivi des modifications de Snowflake — afin de mettre en évidence les opérations d'insertion, de mise à jour et de suppression au niveau des lignes sur une table spécifiée. Les modifications peuvent être récupérées sur une plage de dates et d’heures définie, ce qui offre aux concepteurs de pipelines un contrôle précis sur les données delta à traiter. Cela permet une réplication, une synchronisation et une intégration en aval efficaces des données, sans la surcharge liée aux analyses complètes des tables.
Ce que vous pouvez faire
Grâce à ce Snap Pack, vous pouvez créer des pipelines qui extraient, de manière continue ou périodique, uniquement les lignes ayant été modifiées dans une table Snowflake depuis la dernière vérification, en utilisant un intervalle d'interrogation configurable et une sortie par lots. Cette solution est particulièrement adaptée pour maintenir la synchronisation des systèmes en aval, des lacs de données ou des plateformes d'analyse avec Snowflake, sans avoir à recharger l'intégralité des tables.
Pourquoi c'est important
Le retraitement de l'ensemble des données est un processus lent et gourmand en ressources, en particulier lorsque les volumes de données sont ceux d'une entreprise. En ne capturant que les modifications, les équipes réduisent les coûts de calcul dans Snowflake, raccourcissent les temps d'exécution des pipelines et permettent aux systèmes dépendants de fonctionner de manière plus proche du temps réel.
Ce Snap Pack comprend les fonctionnalités principales suivantes :
- Récupère toutes les modifications de données sur une période donnée, pour un filtrage précis
- Enregistre les instructions INSERT, UPDATE et DELETE portant sur des tables spécifiques
- Lit directement à partir de Snowflake Streams (l’objet natif de Snowflake permettant de suivre les modifications)
- Intervalle et unité de sondage configurables (secondes/minutes/heures)
- Prend en charge la sortie par lots pour le traitement en masse des enregistrements modifiés
- Compatible avec Ultra Tasks pour des pipelines en temps quasi réel
Ce pack « Snap » contient les Snaps suivants :
- Snowflake CDC — Lit les données d'un flux Snowflake et récupère les modifications (insertions, mises à jour et suppressions) apportées à une table spécifiée au cours d'une période donnée.
- Compte CDC Snowflake — Fournit les informations de connexion à Snowflake (identifiant de compte, entrepôt, base de données, schéma, rôle, identifiants) utilisées par le Snap CDC Snowflake.
Pour en savoir plus
Pour en savoir plus, veuillez consulter la page de documentation.
