Dans le monde des services web distribués et des Big Data, les erreurs et les fautes ne peuvent pas être traitées comme des occurrences fréquentes. Au contraire, ils sont courants et doivent être compris et gérés. Les erreurs peuvent prendre la forme de données erronées ou manquantes, et les défauts peuvent résulter de la congestion ou des défaillances des services web. Le rôle d‘une plateforme d‘intégration en tant que service ( iPaaS ) est d‘aider les utilisateurs à effectuer des tâches d‘intégration en présence d‘erreurs et de défaillances.
Tout d‘abord, il convient de préciser la différence entre les erreurs et les fautes :
- Une erreur d‘intégration fait généralement référence à une forme d‘incohérence des données due à une corruption des données, à des données manquantes ou à des formats de données inattendus. Les canaux de communication et l‘exécution du pipeline d‘intégration fonctionnent tous comme prévu, mais les données elles-mêmes présentent un problème.
- D‘autre part, une panne est le résultat d‘une défaillance de connexion ou de service. Dans certains cas, les serveurs iPaaS peuvent connaître des défaillances qui entraînent des pannes, lesquelles doivent également être gérées.
L‘architecture SnapLogic Integration Cloud assure à la fois le traitement des erreurs de données et la tolérance aux pannes afin de garantir l‘exécution fiable des flux de données d‘intégration, appelés pipelines. Les pipelines peuvent être conçus pour gérer les mauvaises données à l‘aide de vues d‘erreur, et les segments de pipeline peuvent être encadrés de manière à garantir la livraison en cas de défaillance du réseau ou d‘un point final de service. Dans le plan de données, nos clusters Snaplex sont conçus pour détecter les pannes de nœuds et pour garantir qu‘il y a toujours un ensemble stable de nœuds Snaplex disponibles pour exécuter les pipelines. Enfin, nous assurons également la redondance et la fiabilité du plan de contrôle. Dans ce blog, nous partagerons des détails sur la gestion des erreurs. Nous vous invitons à consulter un article de blog supplémentaire qui explique comment SnapLogic gère la tolérance aux pannes et la résilience dans l‘architecture.
Vues d'erreur
Cloud SnapLogic Integration Cloud sont constitués de Snapsreliés entre eux pardes vues. Les Snaps peuvent avoir zéro ou plusieurs vues d'entrée et zéro ou plusieurs vues de sortie. Par exemple, un Snap de lecture de base de données aura zéro vue d'entrée et une vue de sortie. Un Snap routeur aura une vue d'entrée et plusieurs vues de sortie. En plus des vues de sortie, la plupart des Snaps peuvent être configurés pour disposer d'une vue d'erreur. Les erreurs de Snap entraînent généralement l'échec prématuré du Snap et du pipeline. Cependant, dans certains cas, un développeur de pipeline peut souhaiter gérer explicitement les conditions d'erreur. Une erreur courante est la présence de données manquantes ou erronées. S'il n'y a pas de vue d'erreur, les données manquantes ou erronées entraîneront l'échec du pipeline. Cependant, avec une vue d'erreur, la condition d'erreur est traitée comme des données et peut être transmise à un segment de pipeline. De cette manière, un segment de pipeline peut être utilisé pour consigner l'erreur afin de corriger les données erronées. Cette fonctionnalité puissante permet aux développeurs de gérer de manière transparente les données valides et erronées à l'aide de Snaps et de segments de pipeline. Dans certains cas, certains types de défaillances peuvent être signalés comme des erreurs afin de permettre au développeur de pipeline de mettre en place une exécution fiable du pipeline, par exemple lorsqu'une défaillance de connexion à la base de données peut être traduite par un document envoyé à une vue d'erreur.
Par exemple, il peut manquer un ou plusieurs champs dans certains enregistrements d‘un fichier CSV. Notre CSV Reader Snap peut détecter ces enregistrements d‘erreur et les envoyer à la vue d‘erreur. Les enregistrements d‘erreur peuvent être envoyés à un segment de pipeline qui peut tenter de nettoyer les données ou de les enregistrer en vue d‘une inspection ultérieure. Autre exemple, l‘instantané de l‘expéditeur de courriels dispose d‘une vue d‘erreur. Si la vue des erreurs de l‘expéditeur d‘e-mails est activée, un document lui sera attribué pour chaque mauvaise adresse ou message non envoyé. De cette façon, le développeur de pipeline peut créer un rapport sur les mauvaises adresses ou utiliser ces dernières pour mettre à jour une base de données de contacts afin qu‘aucune tentative d‘envoi ne soit effectuée à l‘avenir à cette adresse.
Livraison garantie
Le SnapLogic Integration Cloud l'intégration de plusieurs cloud . La plupart cloud modernes sont accessibles via des interfaces REST ou SOAP sur HTTP. Cependant, le réseau public peut être sujet à des défaillances susceptibles d'entraîner l'abandon des requêtes de service. Afin de remédier aux défaillances de connexion des services gérés, le SnapLogic Integration Cloud la livraison garantie des documents. Pour activer la livraison garantie, le développeur du pipeline marque un segment de pipeline de streaming. Cesegment « boxed »peut être configuré avec une politique de réessai. Les documents destinés à être envoyés vers le segment « boxed » sont temporairement conservés dans un stockage persistant. Une fois qu'un document a traversé l'intégralité du segment, un accusé de réception est envoyé au gestionnaire de pipeline, ce qui permet de supprimer le document de la mémoire persistante. Si le segment ou le point de terminaison du segment échoue, la politique de réessai sera invoquée pour récupérer le document dans la mémoire persistante et le renvoyer à travers le segment. Des politiques de réessai telles que les délais d'attente linéaires ou le recul exponentiel peuvent être utilisées pour gérer la plupart des scénarios de défaillance intermittente des points de terminaison.
Pour plus de détails sur l‘architecture de SnapLogic Integration Cloud, consultez notre série de vidéos expliquant notre produit et plateforme.
