In der Welt der verteilten Webdienste und Big Data können Fehler und Störungen nicht als häufige Vorkommnisse betrachtet werden. Vielmehr sind sie alltäglich und müssen verstanden und verwaltet werden. Fehler können in Form von schlechten oder fehlenden Daten auftreten, und Störungen können durch Überlastung oder Ausfälle von Webdiensten entstehen. Die Rolle einer iPaaS (Integration Platform as a Service) besteht darin, die Benutzer bei der Durchführung von Integrationsaufgaben zu unterstützen, auch wenn Fehler und Störungen vorliegen.
Zunächst einmal sollten wir uns über den Unterschied zwischen Fehlern und Mängeln im Klaren sein:
- Ein Integrationsfehler bezieht sich in der Regel auf eine Form von Dateninkonsistenz aufgrund von Datenbeschädigung, fehlenden Daten oder unerwarteten Datenformaten. Die Kommunikationskanäle und die Ausführung der Integrationspipeline funktionieren alle wie erwartet, aber die Daten selbst haben ein Problem.
- Auf der anderen Seite ist eine Störung das Ergebnis eines Verbindungs- oder Dienstausfalls. In einigen Fällen kann es bei den iPaaS-Servern zu Ausfällen kommen, die zu Fehlern führen, die ebenfalls verwaltet werden müssen.
Die SnapLogic Integration Cloud-Architektur bietet sowohl Datenfehlerbehandlung als auch Fehlertoleranz, um die zuverlässige Ausführung von Integrationsdatenflüssen, sogenannten Pipelines, zu gewährleisten. Pipelines können so konzipiert werden, dass sie fehlerhafte Daten mit Hilfe von Fehleransichten behandeln, und Pipeline-Segmente können so eingegrenzt werden, dass eine garantierte Zustellung bei einem Ausfall des Netzwerks oder des Service-Endpunkts gewährleistet ist. Auf der Datenebene sind unsere Snaplex-Cluster so konzipiert, dass sie Knotenausfälle erkennen und sicherstellen, dass immer ein stabiler Satz von Snaplex-Knoten für die Ausführung von Pipelines verfügbar ist. Schließlich sorgen wir auch für Redundanz und Zuverlässigkeit in der Steuerungsebene. In diesem Blog werden wir Einzelheiten zur Fehlerbehandlung erläutern. Bitte halten Sie Ausschau nach einem weiteren Blog-Beitrag, der erklärt, wie SnapLogic Fehlertoleranz und Ausfallsicherheit in der Architektur handhabt.
Fehler-Ansichten
SnapLogic Integration Cloud-Pipelines bestehen aus Snaps, die über Ansichten miteinander verbunden sind. Snaps können null oder mehr Eingabeansichten und null oder mehr Ausgabeansichten haben. Ein Datenbankleser hat beispielsweise null Eingabeansichten und eine Ausgabeansicht. Ein Router-Snap hat eine Eingabesicht und mehrere Ausgabesichten. Zusätzlich zu den Ausgabeansichten können die meisten Snaps so konfiguriert werden, dass sie eine Fehleransicht haben. Snap-Fehler führen in der Regel dazu, dass ein Snap und die Pipeline frühzeitig scheitern. In einigen Fällen möchte ein Pipeline-Entwickler jedoch die Fehlerbedingungen explizit verwalten. Ein häufiger Fehler sind fehlende Daten oder fehlerhafte Daten. Wenn es keine Fehleransicht gibt, führen fehlende oder fehlerhafte Daten zum Fehlschlagen der Pipeline. Mit einer Fehlersicht wird die Fehlerbedingung jedoch wie Daten behandelt und kann an ein Pipelinesegment weitergegeben werden. Auf diese Weise kann ein Pipeline-Segment verwendet werden, um den Fehler zu protokollieren und fehlerhafte Daten zu korrigieren. Diese leistungsstarke Funktion ermöglicht es Entwicklern, mithilfe von Snaps und Pipeline-Segmenten sowohl gute als auch schlechte Daten nahtlos zu verarbeiten. In einigen Fällen können bestimmte Arten von Fehlern als Fehler kommuniziert werden, damit der Pipeline-Entwickler eine zuverlässige Pipeline-Ausführung aufbauen kann, z. B. wenn ein Datenbankverbindungsfehler als ein an eine Fehleransicht gesendetes Dokument realisiert werden kann.
Zum Beispiel können in einer CSV-Datei ein oder mehrere Felder fehlen. Unser CSV Reader Snap kann diese Fehlerdatensätze erkennen und sie an die Fehleransicht senden. Die Fehlerdatensätze können an ein Pipeline-Segment gesendet werden, das versuchen kann, die Daten zu bereinigen oder sie für eine spätere Überprüfung zu protokollieren. Ein weiteres Beispiel: Der E-Mail-Sender-Snap hat eine verfügbare Fehleransicht. Wenn die Ansicht "E-Mail-Absenderfehler" aktiviert ist, erhält sie ein Dokument für jede fehlerhafte Adresse oder nicht gesendete Nachricht. Auf diese Weise kann der Pipeline-Entwickler einen Bericht für die fehlerhaften Adressen erstellen oder die fehlerhaften Adressen verwenden, um eine Kontaktdatenbank zu aktualisieren, so dass in Zukunft keine Versuche mehr unternommen werden, an diese Adresse zu senden.
Garantierte Lieferung
Die SnapLogic Integration Cloud ermöglicht die Integration verschiedener Cloud-Dienste. Die meisten modernen Cloud-Services werden über REST- oder SOAP-Schnittstellen über HTTP bereitgestellt. Das öffentliche Netzwerk kann jedoch anfällig für Störungen sein, die dazu führen können, dass Service-Anfragen abgebrochen werden. Die SnapLogic Integration Cloud unterstützt bei der Verwaltung von Dienstverbindungsfehlerngarantierte Zustellung von Dokumenten. Um die garantierte Zustellung zu aktivieren, markiert der Pipeline-Entwickler ein Streaming-Pipeline-Segment. Dieses Boxsegment kann mit einer Wiederholungsrichtlinie konfiguriert werden. Dokumente, die an das Box-Segment gesendet werden sollen, werden vorübergehend im persistenten Speicher gehalten. Sobald ein Dokument das gesamte Segment durchlaufen hat, wird eine Bestätigung an den Pipeline-Manager gesendet, mit der das Dokument aus dem dauerhaften Speicher entfernt werden kann. Wenn das Segment oder der Segmentendpunkt fehlschlägt, wird die Wiederholungsrichtlinie aufgerufen, um das Dokument aus dem permanenten Speicher abzurufen und es erneut durch das Segment zu schicken. Wiederholungsrichtlinien wie lineare Wartezeiten oder exponentielles Backoff können zur Bewältigung der meisten intermittierenden Endpunktausfallszenarien eingesetzt werden.
Weitere Einzelheiten über die Architektur der SnapLogic Integration Cloud finden Sie in unserer Reihe von Videos die unser Produkt und unsere Plattform erklären.
