Mit dem Snowflake CDC Snap Pack können SnapLogic-Pipelines Änderungen an Daten in einer Snowflake-Datenbank identifizieren und erfassen, anstatt ganze Datensätze erneut zu verarbeiten. Dazu werden Daten aus Snowflake Streams – dem nativen Mechanismus von Snowflake zur Änderungsverfolgung – ausgelesen, um Einfüge-, Aktualisierungs- und Löschvorgänge auf Zeilenebene in einer bestimmten Tabelle zu ermitteln. Änderungen können innerhalb eines definierten Datums- und Zeitbereichs abgerufen werden, wodurch Pipeline-Entwickler präzise steuern können, welche Daten-Deltas verarbeitet werden sollen. Dies ermöglicht eine effiziente Datenreplikation, -synchronisation und nachgelagerte Integration ohne den Aufwand vollständiger Tabellenscans.
Was Sie tun können
Mit diesem Snap Pack können Sie Pipelines erstellen, die kontinuierlich oder in regelmäßigen Abständen nur die Zeilen abrufen, die sich seit der letzten Überprüfung in einer Snowflake-Tabelle geändert haben – und zwar mithilfe eines konfigurierbaren Abfrageintervalls und einer Batch-Ausgabe. Dies eignet sich besonders gut, um nachgelagerte Systeme, Data Lakes oder Analyseplattformen mit Snowflake synchron zu halten, ohne ganze Tabellen neu laden zu müssen.
Warum das wichtig ist
Die Neuverarbeitung des gesamten Datensatzes ist langsam und ressourcenintensiv, insbesondere bei Datenmengen in Unternehmensgröße. Indem nur die geänderten Daten erfasst werden, senken Teams die Rechenkosten in Snowflake, verkürzen die Ausführungszeiten der Pipelines und sorgen dafür, dass abhängige Systeme näher an der Echtzeit bleiben.
Dieses Snap-Paket umfasst die folgenden wichtigsten Funktionen
- Ruft alle Datenänderungen innerhalb eines bestimmten Zeitraums ab, um eine präzise Filterung zu ermöglichen
- Erfasst INSERT-, UPDATE- und DELETE-Anweisungen für bestimmte Tabellen
- Liest direkt aus Snowflake Streams (dem nativen Objekt von Snowflake zur Änderungsverfolgung)
- Konfigurierbares Abfrageintervall und Abfrageeinheit (Sekunden/Minuten/Stunden)
- Unterstützt die Stapelausgabe zur Massenverarbeitung geänderter Datensätze
- Kompatibel mit Ultra Tasks für Pipelines in nahezu Echtzeit
Dieses Snap-Paket enthält die folgenden Snaps
- Snowflake CDC – Liest aus einem Snowflake-Stream und ruft Änderungen durch Einfügen, Aktualisieren und Löschen an einer bestimmten Tabelle innerhalb eines vorgegebenen Zeitraums ab.
- Snowflake-CDC-Konto – Stellt die vom Snowflake-CDC-Snap verwendete Snowflake-Verbindung bereit (Konto-ID, Warehouse, Datenbank, Schema, Rolle, Anmeldedaten).
Weitere Informationen
Weitere Informationen finden Sie auf der Dokumentationsseite.
