Lo Snowflake CDC Snap Pack consente alle pipeline di SnapLogic di identificare e acquisire le modifiche apportate ai dati in un database Snowflake, anziché rielaborare interi set di dati. Funziona leggendo da Snowflake Streams — il meccanismo nativo di tracciamento delle modifiche di Snowflake — per individuare le operazioni di inserimento (Insert), aggiornamento (Update) ed eliminazione (Delete) a livello di riga su una tabella specificata. Le modifiche possono essere recuperate all’interno di un intervallo di date e orari definito, offrendo a chi crea le pipeline un controllo preciso sui delta di dati da elaborare. Ciò consente una replica efficiente dei dati, la sincronizzazione e l’integrazione a valle senza il sovraccarico derivante dalla scansione completa delle tabelle.
Cosa puoi fare
Con questo Snap Pack è possibile creare pipeline che recuperano, in modo continuo o periodico, solo le righe modificate in una tabella Snowflake dall'ultimo controllo, utilizzando un intervallo di polling configurabile e un'uscita in batch. Questa soluzione è particolarmente indicata per mantenere i sistemi a valle, i data lake o le piattaforme di analisi sincronizzati con Snowflake senza dover ricaricare intere tabelle.
Perché è importante
La rielaborazione dell'intero set di dati è un'operazione lenta e che richiede molte risorse, soprattutto quando si tratta di volumi di dati aziendali. Acquisendo solo i dati modificati, i team riducono i costi di elaborazione in Snowflake, accorciano i tempi di esecuzione delle pipeline e mantengono i sistemi dipendenti più vicini al tempo reale.
Questo Snap Pack include le seguenti funzionalità principali
- Recupera tutte le modifiche ai dati avvenute in un intervallo di tempo specifico, per consentire un filtraggio preciso
- Registra le istruzioni INSERT, UPDATE e DELETE su tabelle specifiche
- Legge direttamente da Snowflake Streams (l'oggetto nativo di Snowflake per il monitoraggio delle modifiche)
- Intervallo di polling e unità di polling configurabili (secondi/minuti/ore)
- Supporta l'output in batch per l'elaborazione in massa dei record modificati
- Compatibile con Ultra Tasks per pipeline quasi in tempo reale
Questo Snap Pack contiene i seguenti Snap
- Snowflake CDC — Legge da uno stream Snowflake e recupera le modifiche di inserimento, aggiornamento ed eliminazione apportate a una tabella specificata in un determinato intervallo di tempo.
- Account CDC di Snowflake — Fornisce le informazioni di connessione a Snowflake (identificativo dell'account, warehouse, database, schema, ruolo, credenziali) utilizzate dallo Snap CDC di Snowflake.
Per saperne di più
Per ulteriori informazioni, consulta la pagina della documentazione.
