Nel mondo dei servizi Web distribuiti e dei Big Data, gli errori e i guasti non possono essere trattati come eventi frequenti. Piuttosto, sono comuni e devono essere compresi e gestiti. Gli errori possono assumere la forma di dati errati o mancanti, mentre i guasti possono derivare dalla congestione o dai malfunzionamenti dei servizi Web. Il ruolo di una iPaaS (Integration Platform as a Service) è quello di aiutare gli utenti a svolgere le attività di integrazione in presenza di errori e guasti.
Innanzitutto, chiariamo la differenza tra errori e difetti:
- Un errore di integrazione di solito si riferisce a una forma di incoerenza dei dati dovuta a corruzione dei dati, dati mancanti o formati di dati imprevisti. I canali di comunicazione e l'esecuzione della pipeline di integrazione funzionano come previsto, ma i dati stessi presentano un problema.
- D'altra parte, un guasto è il risultato di un'interruzione della connessione o del servizio. In alcuni casi, i server iPaaS possono subire guasti che danno origine a guasti, che devono essere gestiti.
L'architettura di SnapLogic Integration Cloud fornisce sia la gestione degli errori dei dati che la tolleranza agli errori per garantire l'esecuzione affidabile dei flussi di dati di integrazione, chiamati pipeline. Le pipeline possono essere progettate per gestire i dati non corretti utilizzando le viste di errore e i segmenti della pipeline possono essere inscatolati in modo da fornire una consegna garantita in presenza di guasti alla rete o al punto finale del servizio. Nel piano dati, i nostri cluster Snaplex sono progettati per rilevare i guasti dei nodi e garantire che ci sia sempre un insieme stabile di nodi Snaplex disponibili per eseguire le pipeline. Infine, forniamo ridondanza e affidabilità anche nel piano di controllo. In questo blog condivideremo i dettagli sulla gestione degli errori. Si prega di tenere d'occhio un altro post del blog che spiega come SnapLogic gestisce la tolleranza agli errori e la resilienza nell'architettura.
Viste di errore
Cloud SnapLogic Integration Cloud sono costituite da Snapcollegati tra loro tramiteviste. Gli Snap possono avere zero o più viste di input e zero o più viste di output. Ad esempio, un lettore di database avrà zero viste di input e una vista di output. Uno Snap router avrà una vista di input e più viste di output. Oltre alle viste di output, la maggior parte degli Snap può essere configurata per avere una vista di errore. Gli errori degli Snap causano solitamente il fallimento precoce dello Snap e della pipeline. Tuttavia, in alcuni casi, uno sviluppatore di pipeline potrebbe voler gestire esplicitamente la condizione di errore. Un errore comune è la mancanza di dati o la presenza di dati errati. Se non c'è una vista di errore, i dati mancanti o errati causeranno il fallimento della pipeline. Tuttavia, con una vista di errore, la condizione di errore viene trattata come un dato e può essere trasmessa a un segmento della pipeline. In questo modo, un segmento della pipeline può essere utilizzato per registrare l'errore al fine di correggere i dati non validi. Questa potente funzionalità consente agli sviluppatori di gestire senza soluzione di continuità sia i dati validi che quelli non validi utilizzando gli Snap e i segmenti della pipeline. In alcuni casi, determinati tipi di errori possono essere comunicati come errori per consentire allo sviluppatore della pipeline di creare un'esecuzione affidabile della pipeline, ad esempio quando un errore di connessione al database può essere realizzato come un documento inviato a una vista di errore.
Ad esempio, alcuni record di un file CSV possono mancare di uno o più campi. Il nostro lettore CSV Snap è in grado di rilevare questi record di errore e di inviarli alla visualizzazione degli errori. I record di errore possono essere inviati a un segmento della pipeline che può tentare di ripulire i dati o registrarli per un controllo successivo. Come altro esempio, lo snap Mittente e-mail ha una vista errori disponibile. Se la vista Errori del mittente e-mail è abilitata, verrà fornito un documento per ogni indirizzo errato o messaggio non inviato. In questo modo, lo sviluppatore della pipeline può creare un report per gli indirizzi errati o utilizzare gli indirizzi errati per aggiornare un database di contatti in modo che non vengano effettuati tentativi futuri di invio all'indirizzo.
Consegna garantita
SnapLogic Integration Cloud l'integrazione di diversi cloud . La maggior parte cloud moderni è accessibile tramite interfacce REST o SOAP su HTTP. Tuttavia, la rete pubblica può essere soggetta a interruzioni che possono causare la perdita delle richieste di servizio. Per aiutare a gestire gli errori di connessione, SnapLogic Integration Cloud la consegna garantita dei documenti. Per abilitare la consegna garantita, lo sviluppatore della pipeline contrassegna un segmento della pipeline di streaming. Questosegmento contrassegnatopuò essere configurato con una politica di riprova. I documenti che devono essere inviati al segmento contrassegnato vengono temporaneamente conservati in un archivio persistente. Una volta che un documento ha attraversato l'intero segmento, viene inviata una conferma al gestore della pipeline che consente di rimuovere il documento dall'archivio persistente. Se il segmento o l'endpoint del segmento fallisce, verrà invocata la politica di riprova per recuperare il documento dall'archivio persistente e inviarlo nuovamente attraverso il segmento. È possibile impiegare politiche di riprova quali tempi di attesa lineari o backoff esponenziale per gestire la maggior parte degli scenari di guasto intermittente degli endpoint.
Per maggiori dettagli sull'architettura di SnapLogic Integration Cloud, consultate la nostra serie di video che illustrano il nostro prodotto e la nostra piattaforma.
