SnapLogic est une plateforme d'intégration en tant que service (iPaaS) cloud qui fournit des outils permettant de connecter diverses applications, sources de données et API. Elle permet aux entreprises d'automatiser et de rationaliser leurs processus d'intégration de données en proposant des connecteurs préconfigurés et une interface visuelle pour la conception les workflows d'intégration.
plateforme SnapLogic utilise un pipeline SnapLogic, une série de « Snaps » (composants pré-construits) connectés qui définissent le flux et la transformation des données entre divers systèmes et applications. Dans un pipeline SnapLogic, les données circulent d'un Snap à l'autre, chaque Snap remplissant une fonction spécifique, telle que l'extraction, la transformation ou le chargement (ETL) des données.
Concepteur SnapLogic
SnapLogic Designer est l'interface utilisateur qui vous permet de développer des pipelines. Vous pouvez voir la page d'exemple ci-dessous.
Mais dans SnapLogic, grâce à une fonctionnalité appelée « Asset Palette », vous pouvez voir les différents styles d'affichage du panneau latéral. Les fonctionnalités sont toutefois identiques à celles du panneau latéral.
La page du concepteur se compose de trois parties principales :
- Canvas – Le champ permettant de visualiser et de modifier le pipeline
- Panneau latéral / Palette des ressources – Le panneau contient la liste des menus. (L'image de gauche correspond à la vue du panneau latéral. L'image de droite correspond à la palette d'actifs activée.)
- Catalogue Snaps – répertorie tous les Snaps disponibles. https://docs-snaplogic.atlassian.net/wiki/x/ePIV
- Catalogue des pipelines – répertoriez tous les pipelines auxquels vous avez accès. https://docs-snaplogic.atlassian.net/wiki/x/w-IV
- Catalogue des modèles – liste tous les modèles auxquels vous avez accès. https://docs-snaplogic.atlassian.net/wiki/spaces/SD/pages/3022160260/Patterns+Catalog
- Barre d'outils – Liste des outils pour le pipeline
| Icônes | Description |
|---|---|
Exécuter le pipeline  | Exécutez le pipeline. |
Valider le pipeline  | Valider le pipeline. Toutes les modifications non enregistrées seront enregistrées avant la validation. Cliquer sur le bouton pendant qu'une validation est en cours annule cette validation. Cliquer sur le bouton tout en maintenant la touche Maj enfoncée efface le cache avant la validation. |
Modifier les propriétés du pipeline  |
Vous spécifiez les propriétés lors de la création d'un pipeline. Cliquez sur ce bouton pour modifier les propriétés. |
Vérifier les statistiques du pipeline  |
Au fur et à mesure de l'exécution d'un pipeline, les statistiques sont mises à jour régulièrement afin que vous puissiez suivre sa progression. |
Créer une tâche  |
Créer une tâche pour le pipeline actuel. |
Enregistrer le pipeline  |
Enregistrer le pipeline actuel. |
Pipeline d'exportation  |
Exporter le pipeline actuel. |
Copier le pipeline  |
Copiez le pipeline d'un projet à un autre. |
Déplacer le pipeline  |
Déplacer le pipeline d'un projet à un autre. |
Supprimer le pipeline  |
Supprimer le pipeline actuel |
Versions du pipeline  |
Créer des versions du pipeline. |
Comparer les pipelines  |
Comparez le pipeline actuel avec le pipeline cible. |
Remarques  |
Ajoutez une note ou supprimez une note existante. Les notes sont enregistrées avec le pipeline. |
Imprimer  |
Imprimer le pipeline. |
Claquettes
Les Snaps sont les éléments constitutifs d'un pipeline. Chaque Snap remplit une seule fonction, telle que la lecture, l'analyse, la transformation ou l'écriture de données. Vous pouvez afficher les Snaps disponibles pour vous (ou votre compte) dans le catalogue Snaps situé à gauche de SnapLogic Designer. Vous pouvez faire glisser un Snap depuis le catalogue Snaps vers le canevas pour l'utiliser dans un pipeline.
Type de boutons-pression
SnapLogic comprend les types de Snaps suivants, identifiés par des icônes distinctes.
Icône | Type à encliqueter | Description |
|---|---|---|
|
Lire |
Spécifie les sources de données dans le pipeline. Exemples : Lecteur de fichiers, Générateur CSV, Requête Birst | |
|
Analyser |
Prend en entrée des données non structurées et génère en sortie des données structurées. Exemples : analyseur XML, analyseur de séquences, analyseur JSON | |
|
Transformer |
Modifie considérablement les données. | |
|
Débit |
Modifie la sortie ou la direction des données dans un pipeline. Exemples : Routeur, Passerelle, Union | |
|
Format |
Modifie le format des données. Exemples : Formateur CSV, Formateur JSON, Formateur Excel | |
|
Écrire |
Spécifie les destinations des données dans un pipeline. Exemples : Écriture de fichier, Publication REST, Suppression d'e-mail |
Boutons-pression de connexion
La clé pour créer un pipeline dans SnapLogic consiste à connecter des Snaps. Il y a plusieurs éléments à prendre en compte lors du placement de Snaps dans un pipeline.
Formes de connexion
Comme les pièces d'un puzzle, seuls les Snaps ayant des paires de connexion correspondantes (cercles ou losanges) peuvent être connectés entre l'entrée et la sortie de deux Snaps.
Lorsque vous faites glisser un élément et que vous le placez à côté ou devant un autre élément, les deux éléments se connectent automatiquement et la connexion change de couleur, ce qui signifie qu'elle a été établie avec succès. Si la couleur ne change pas, vous devez vérifier à nouveau que les deux formes de connexion sont identiques et reconnecter les éléments.
Déconnecter les Snaps liés
Les Snaps non liés peuvent être déplacés séparément ou placés les uns à côté des autres. Assurez-vous que le connecteur circulaire ou en forme de losange est de couleur bleue, ce qui indique que les Snaps sont liés.
Pour déconnecter les Snaps liés, cliquez sur le connecteur bleu. Cela efface la couleur et vous permet de réorganiser les Snaps.
Connexion à distance Link Snaps
Vous pouvez connecter des Snaps, mais pas les uns à côté des autres, à l'aide d'un lien de connexion à distance. Par exemple, cliquez et maintenez enfoncé le connecteur Mapper Snap jusqu'à ce qu'il devienne jaune, puis faites-le glisser vers le connecteur Copy Snap. Lorsque les deux connexions deviennent bleues, relâchez le bouton de la souris. Un numéro est placé dans les deux connecteurs pour vous indiquer qu'ils sont connectés.
Remarque : ce numéro est temporaire jusqu'à ce que le pipeline soit enregistré. À ce stade, un nouveau numéro permanent peut être attribué.
Vous pouvez également cliquer et maintenir enfoncé sur une connexion, et les deux Snaps connectés par ce lien s'assombriront. Cette fonctionnalité est utile pour les pipelines de grande taille où il peut être fastidieux de visualiser rapidement les connexions.
Modèle de données
SnapLogic transmettra les données entre les Snaps à l'aide de deux modèles :
Données du document
Les modèles de données du document seront représentés par une forme circulaire. Ce type de données utilise le format JSON comme conteneur de données. Le type de données pris en charge dans ce modèle est similaire à la norme JSON en ce sens qu'il comprend des chaînes, des booléens, des nombres, des tableaux, des objets et des valeurs nulles.
Données binaires
Les modèles de données du document seront représentés par une forme en losange. Ce type de données encapsulera les données binaires dans le modèle SnapLogic. La plupart du temps, celles-ci seront saisies dans le programme d'écriture et d'analyse de fichiers, puis extraites par le programme de lecture et de formatage de fichiers.
Configuration des snaps
Vous avez deux options pour ouvrir la boîte de dialogue de configuration. Tout d'abord, cliquez avec le bouton gauche de la souris sur le Snap que vous souhaitez configurer. La boîte de dialogue s'affichera immédiatement.
La deuxième méthode consiste à cliquer avec le bouton droit de la souris sur le Snap. Le menu affichera alors les options disponibles dans tous les Snaps sous forme de liste déroulante. Cliquez ensuite sur « Modifier » dans le menu.
Chaque Snap aura des configurations différentes. Vous pouvez en savoir plus sur la configuration de chaque Snap en cliquant sur l'icône en forme de point d'interrogation en haut à droite de la boîte de dialogue.
Expression
Le langage d'expression SnapLogic est un utilitaire disponible pour les Snaps. Vous pouvez utiliser des expressions (syntaxe JavaScript) pour accéder à des fonctions et propriétés afin de définir dynamiquement des valeurs de champ. Vous pouvez également utiliser le langage d'expression pour manipuler des données.
Exemple
$text == "NFL" ? "foo" : "bar"
$counter > 1 ? ($counter < 3 ? 50 : 100) : -1Les expressions sont disponibles dans plusieurs Snaps. Si le Snap expose la fonctionnalité de l'expression pour une propriété, alors le L'icône apparaît devant la zone de texte de la propriété. Vous pouvez l'activer ou la désactiver en cliquant sur l'icône. Lorsque l'icône est activée, la flèche vers le bas apparaît dans le champ. Vous pouvez cliquer dessus pour afficher la liste des fonctions et des propriétés disponibles.
Opérations
Liste des opérations prises en charge et non prises en charge disponibles dans notre documentation.
Accès aux paramètres du pipeline
Les paramètres permettent de réutiliser un pipeline dans plusieurs situations. Par exemple, un Snap File Writer peut être configuré pour écrire dans un chemin de fichier spécifié par un paramètre, ce qui permet au même pipeline d'écrire dans différents fichiers. Les paramètres d'un pipeline peuvent être définis à l'aide de la boîte de dialogue Edit Pipeline properties. Le nom de chaque paramètre doit contenir uniquement des caractères alphanumériques, et la valeur sera convertie en chaîne de caractères. La valeur d'un paramètre défini dans la boîte de dialogue des propriétés du pipeline est considérée comme la valeur par défaut lors de l'exécution du pipeline dans Designer. Les paramètres peuvent également être transmis au Snap Pipeline Execute. Tous les paramètres qui ne sont pas transmis par la tâche ou le Snap utiliseront les valeurs par défaut spécifiées dans la boîte de dialogue des propriétés.
Pour accéder à un paramètre de pipeline à partir du langage d'expression, vous devez faire précéder le nom du paramètre d'un trait de soulignement. Par exemple, étant donné les paramètres suivants :
Clé | Valeur |
|---|---|
|
prénom |
Bob |
|
valeur numérique |
12 |
|
chemin |
$.âge |
Le paramètre « firstName » est alors accessible via _firstName, comme dans :
"Hello, " + _firstName // result: Hello, BobÉtant donné que la valeur d'un paramètre est toujours une chaîne, vous devrez convertir toute chaîne en valeur numérique avant de pouvoir l'utiliser. Par exemple, le simple fait d'ajouter deux au paramètre « numValue » ajoutera le caractère « 2 » à « 12 » et donnera « 122 » :
_numValue + 2 // result: "122"Vous devez plutôt utiliser les fonctions parseInt/parseFloat pour analyser la chaîne en une valeur, puis y ajouter deux :
parseInt(_numValue) + 2 // result: 14Vous devez paramétrer votre pipeline à l'aide d'une expression. Vous pouvez utiliser la fonction eval() pour évaluer une expression stockée dans une chaîne. Par exemple, pour lire le champ du document spécifié par le paramètre « path », vous pouvez utiliser :
eval(_path) // result: <the value of the "age" field in the current document>Accès aux variables d'affichage des entrées dans le cadre d'expressions
Un attribut de schéma de vue d'entrée peut être utilisé dans l'expression en utilisant le préfixe signe dollar ($).
Exemple
Le REST Put Snap fournit une URL. L'URL peut être transformée en expression, et les expressions peuvent être créées en substituant dynamiquement les variables d'une vue d'entrée, par exemple :
'http://someplace:someport/somepart/' + $inputvar + '/somemoreparts'Accéder à une valeur secrète à partir du gestionnaire de secrets
Tout champ d'authentification compatible avec les expressions dans un Snap ou un compte peut être utilisé avec Secrets Management. Vous pouvez saisir une expression qui récupère un secret stocké dans votre gestionnaire de secrets, tel qu'un jeton d'accès, un nom d'utilisateur ou un mot de passe. Pour utiliser les valeurs du gestionnaire de secrets, vous devez d'abord créer les secrets myaccesskey et mysecretkey dans le coffre-fort Secrets Manager. Ensuite, créez ou modifiez le compte et saisissez une expression dans les champs obligatoires. En savoir plus : Configurer les comptes pour utiliser des secrets.
Compte
Un compte représente un objet qui regroupe les informations nécessaires pour se connecter à un point de terminaison. Les comptes jouent un rôle crucial dans l'intégration des applications. Tout Snap qui communique avec un point de terminaison externe a besoin d'un compte authentifié pour accéder aux ressources du point de terminaison. Par exemple, un Snap MySQL nécessite un accès authentifié à une base de données MySQL. Dans SnapLogic, vous créez un compte pour stocker les informations d'identification et toute autre information nécessaire à la connexion, telle que l'URL, le nom d'hôte et le numéro de port.
Vous pouvez créer un compte à partir de Designer ou Manager. Dans Designer, lorsque vous travaillez sur des pipelines, chaque Snap nécessitant un compte vous invite à créer un nouveau compte ou à utiliser un compte existant.
Pour utiliser un compte existant, vous pouvez cliquer sur l'icône déroulante afin d'afficher tous les comptes disponibles pour les snaps.
Pour créer un nouveau compte, cliquez sur le bouton « Ajouter un compte » situé sous le champ « Propriété » et suivez les étapes indiquées. Le compte sera créé à l'emplacement sélectionné lors de la première étape. Vous pouvez gérer le compte créé sur la page « Gestionnaire » de cet emplacement.
Remarque : vous pouvez en savoir plus sur le type de compte et chaque propriété en cliquant sur l'icône en forme de point d'interrogation dans le coin supérieur droit.
Validation et exécution du pipeline
Parfois, nous voulons tester le pipeline en l'exécutant à vide, sans exécuter les snaps d'écriture. Vous pouvez utiliser la fonction validate. dans le menu de la barre d'outils. La différence entre valider et exécuter se situe avant chaque exécution instantanée. Il vérifiera la propriété appelée «Exécution instantanéeIl existe trois opinions sur la manière de déclencher les snaps.
- Valider et exécuter : cette option permet d'exécuter les snaps à la fois lors de la validation et lors de l'exécution.
- Exécuter uniquement : cette option permet d'exécuter les snaps uniquement lors de l'étape d'exécution. Le type d'éditeur de snap utilise cette valeur par défaut.
- Désactivé : cette option empêche l'exécution des snaps.
Remarque : par défaut, la validation sera déclenchée chaque fois que nous modifierons la configuration des snaps dans le pipeline.
Aperçu des données
Après avoir exécuté ou validé le pipeline, une icône d'aperçu apparaîtra dans le joint de connexion. La boîte de dialogue d'aperçu s'affichera lorsque vous cliquerez dessus, montrant les données de sortie des snaps. Par exemple, lorsque nous cliquons sur l'icône d'aperçu, le pipeline ci-dessus affichera les données de sortie des snaps JSON Generator.
La boîte de dialogue d'aperçu propose trois types : JSON, Tableau et Brut. Vous pouvez sélectionner le menu déroulant sur Type d'aperçu et choisir le type qui vous convient.
- JSON
- Table
- Cru
Créer le premier pipeline
Cette section vous montrera comment commencer à créer le pipeline, depuis la définition des exigences jusqu'à la vérification du résultat et l'exécution du pipeline final.
Dans le scénario présenté en exemple, nous souhaitons calculer la liste des employés afin de déterminer ceux qui doivent suivre une formation en marketing. La liste de nos employés ressemble aux données ci-dessous.
[
{
"Name": "Albert Maro",
"Location": "Field",
"Extension": 4357,
"Email": "[email protected]",
"Title": "Director, Eastern US",
"Department": "Sales",
"Dept ID": 1100
},
{
"Name": "Anthony Dunn",
"Location": "HQ",
"Extension": 4387,
"Email": "[email protected]",
"Title": "Social Media Director",
"Department": "Marketing",
"Dept ID": 1200
},
{
"Name": "Rich Harris",
"Location": "CO",
"Extension": 4368,
"Email": "[email protected]",
"Title": "Principal Developer",
"Department": "Engineering",
"Dept ID": 1300
}
// more data
]La contrainte liée au besoin de formation concerne un employé du service marketing travaillant au « siège social ». Nous voulons obtenir la liste des employés avec les champs Prénom, Nom, E-mail, Titre et Formation. Le résultat devrait ressembler à ce qui suit.
[
{
"Firstname": "Albert",
"Lastname": "Maro",
"Email": "[email protected]",
"Title": "Director, Eastern US",
"Training": false
},
{
"Firstname": "Anthony",
"Lastname": "Dunn",
"Email": "[email protected]",
"Title": "Social Media Director",
"Training": true
},
{
"Firstname": "Rich",
"Lastname": "Harris",
"Email": "[email protected]",
"Title": "Principal Developer",
"Training": false
}
// more data
]Étapes
1. Ouvrez la page Designer.
2. Cliquez sur 
pour créer un nouveau pipeline.
3. Modifiez le libellé en « Formation des employés » et cliquez sur Enregistrer.
4. À cette étape, nous disposons déjà d'un nouveau pipeline vide.
Ensuite, recherchez le snap «JSON Generator »dans le panneau latéral et faites-le glisser vers l'écran du canevas. Ce snap génère un document JSON pour le snap suivant dans le pipeline. Nous allons le définir comme source d'entrée.
5. Cliquez sur le snap Générateur JSON pour ouvrir la boîte de dialogue de configuration, puis cliquez sur «Modifier JSON ».
Ensuite, remplacez tout le JSON par la valeur ci-dessous.
[
{
"Name": "Albert Maro",
"Location": "Field",
"Extension": 4357,
"Email": "[email protected]",
"Title": "Director, Eastern US",
"Department": "Sales",
"Dept ID": 1100
},
{
"Name": "Anthony Dunn",
"Location": "HQ",
"Extension": 4387,
"Email": "[email protected]",
"Title": "Social Media Director",
"Department": "Marketing",
"Dept ID": 1200
},
{
"Name": "Rich Harris",
"Location": "CO",
"Extension": 4368,
"Email": "[email protected]",
"Title": "Principal Developer",
"Department": "Engineering",
"Dept ID": 1300
}
// more data
]
Cliquez sur «D'accord.» et le bouton « Enregistrer » (
) avant de fermer la boîte de dialogue.
6. Attendez que la validation soit terminée. Si la validation ne s'exécute pas, cliquez sur le bouton de validation pour valider manuellement le pipeline.
7. Recherchez le module «Mapper »et faites-le glisser après le générateur JSON. Le module Mapper transforme les données entrantes à l'aide des mappages spécifiques et produit de nouvelles données de sortie.
8. Cliquez sur le bouton Mapper pour ouvrir la boîte de dialogue de configuration.
Nous nous concentrons sur les cinq blocs situés au bas de la boîte de dialogue.
- Schéma d'entrée – affiche le schéma des données d'entrée
- Table de mappage – configuration permettant de mapper les données d'entrée vers les nouvelles données de sortie.
- Schéma cible: affiche le schéma des données de sortie. Mais cet instantané n'a pas encore été validé, il n'affiche donc rien.
- Aperçu de l'entrée – affiche les données d'entrée actuelles
- Aperçu de la sortie – affiche les données de sortie actuelles
Ensuite, définissez la table de mappage à l'aide des informations ci-dessous. Pour ajouter plusieurs mappages, cliquez sur 
dans le coin supérieur droit.
Expression | Trajectoire cible |
|---|---|
|
$Name.split(‘ ‘)[0] |
$Prénom |
|
$Nom.split(‘ ‘)[1] |
$Nom |
|
|
|
|
$Titre |
$Titre |
|
$Location == « HQ » && $Department == « Marketing » |
$Formation |
La configuration finale ressemblera à ceci.
Cliquez sur Enregistrer et fermez la boîte de dialogue.
9. Cliquez sur le bouton Aperçu après avoir cliqué sur Mapper. Le résultat devrait ressembler à ceci.
SnapGPT
SnapGPT est un outil interactif intégré à SnapLogic Designer. Il exploite la puissance des modèles d'apprentissage automatique à grande échelle (LLM) pour démocratiser l'intégration en aidant les utilisateurs à créer et à gérer des intégrations à l'aide d'invites en langage naturel. SnapGPT peut remplir six fonctions principales dans SnapLogic.
- Générer des pipelines
- Décrire les pipelines
- Analyser les pipelines
- Posez toutes vos questions sur la plateforme d'intégration intelligente (IIP) SnapLogic.
- Générer des expressions SnapLogic
- Créer des requêtes SQL
Utilisation de SnapGPT
Vous pouvez ouvrir le panneau SnapGPT en cliquant sur le logo SnapGPT dans la barre d'en-tête. Le panneau s'affichera alors avec un message de bienvenue.
Ensuite, nous vous montrerons comment utiliser chacune des fonctionnalités de SnapGPT sur la plateforme SnapLogic.
Générer des pipelines
Accès direct à SnapGPT
Exemples d'invites :
- Extraire les enregistrements d'objets d'opportunité de Salesforce et les ajouter à Snowflake
- Créer un pipeline à l'aide de Salesforce Read pour récupérer mes opportunités, filtrer toutes les opportunités en dehors du dernier trimestre fiscal, puis les enregistrer dans Snowflake.
- Extraire les enregistrements d'objets d'opportunité de Salesforce clôturés avant le « 01/10/2022 » et les ajouter à Snowflake.
- Créer un pipeline qui récupère mes journaux d'activité SnapLogic à partir de l'API SnapLogic.
Décrire les pipelines
Ouvrez le pipeline que vous souhaitez décrire, puis allez dans le panneau SnapGPT et demandez « Décrivez le pipeline ».
Exemples d'invites :
- Décrire le pipeline
Analyser les pipelines
Ouvrez le pipeline que vous souhaitez analyser, puis allez dans le panneau SnapGPT et demandez « Analyser le pipeline ».
Exemples d'invites :
- Analyser le pipeline
Résultat :
SnapGPT identifie les problèmes liés au pipeline et propose des suggestions d'amélioration, tandis que Snaps dans le pipeline offre des suggestions.
Posez toutes vos questions sur la plateforme d'intégration intelligente (IIP) SnapLogic.
Exemples d'invites :
- Comment construire un pipeline ?
- Quand et comment dois-je utiliser le snap Salesforce SOQL ?
- Comment un pipeline peut-il appeler un autre pipeline ?
- Les pipelines peuvent-ils utiliser la récursivité ?
- En quoi un pipeline Ultra diffère-t-il d'un pipeline classique ?
Générer des expressions SnapLogic
Pour commencer, ouvrez simplement un snap et sélectionnez le icône. Cette action active la fonctionnalité de génération d'expressions, ce qui me permet de vous aider à créer des expressions. Je peux commencer à créer des expressions pour vous soit dans notre chat, soit dans le champ compatible avec les expressions lui-même, en saisissant l'invite puis en cliquant sur l'icône SnapGPT. .
Exemples d'invites :
- Générer une expression pour filtrer mes opportunités perdues clôturées.
- Générer une expression pour récupérer la date et l'heure actuelles.
Créer des requêtes SQL
Ouvrez un Snap qui prend en charge les requêtes SQL ou SOQL et ouvrez SnapGPT.
Par exemple, si vous ouvrez le Snap Salesforce SOQL, la suggestion Créer une requête SQL apparaît au-dessus de l'invite SnapGPT. SnapGPT génère la requête et l'affiche dans le panneau Aperçu SQL. Vous pouvez vérifier le code SQL généré avant de l'appliquer au snap.
Exemple d'invite :
- Générer une requête SQL pour obtenir le montant total des opportunités clôturées au cours du dernier trimestre, regroupées par pays du compte et statut de la transaction.
