Version de novembre 2022 : Accélérer la valorisation des pipelines de données et des processus métier

Photo de Dhananjay Bapat
7 minutes de lecture

Nous sommes heureux d'annoncer les améliorations apportées aux versions d'octobre et de novembre de la plate-forme d'intégration intelligente SnapLogic. Grâce aux dernières mises à jour, les entreprises peuvent accélérer la mise sur le marché en créant des pipelines de données et des automatisations de processus plus rapidement. Grâce aux améliorations d'AutoPrep, vous pouvez formater les données de différentes manières ou masquer les données sensibles facilement, sans écrire de code. Avec les mises à jour AutoSync, vous pouvez charger des données dans Google BigQuery et favoriser la collaboration entre les membres de l'équipe. La plateforme a été améliorée avec une nouvelle fonctionnalité de tri de mappeur, des améliorations HashiCorp et quelques améliorations de sécurité. Nous avons également amélioré un certain nombre de Snap Packs tels que Amazon S3, Marketo, AlloyDB, Microsoft Exchange Online, Snowflake, pour n'en citer que quelques-uns. Vous pouvez également créer des API rapidement en déplaçant facilement des actifs et des politiques, et il y a beaucoup d'autres mises à jour à explorer.

Voulez-vous savoir comment ces mises à jour peuvent vous aider à terminer vos projets plus rapidement ? Poursuivez votre lecture !

Préparation des données sans code plus rapide

AutoPrep continue d'évoluer et d'apporter une valeur ajoutée significative aux utilisateurs professionnels et aux spécialistes de l'intégration. Vous pouvez utiliser AutoPrep à la place d'un Mapper dans n'importe quel pipeline pour transformer les données lorsqu'elles transitent d'une application ou d'un point de terminaison de données à l'autre. Grâce aux nouvelles améliorations d'AutoPrep, vous pouvez facilement formater les données sans écrire de code. Compte tenu de l'omniprésence des transformations de données, nous estimons qu'elles peuvent permettre à votre équipe de 5 personnes d'économiser plus de 1,8 million de dollars par an.

Vous pouvez formater des dates, des codes de pays (en alpha-2, alpha-2, nom complet), des devises ou des numéros de téléphone. Les améliorations vous permettent également de diviser les champs en plusieurs colonnes ou de les renommer.

Formatage de la date avec AutoPrep dans la plate-forme d'intégration SnapLogic
Figure 1 : Formatage de la date avec AutoPrep

Les ingénieurs des données peuvent également rencontrer des données sensibles telles que des numéros de sécurité sociale, des numéros de salaire, des adresses électroniques, etc. Ces données sensibles peuvent être facilement masquées avec les algorithmes MD5, SHA1, SHA256, SHA512 à l'aide d'AutoPrep en un seul clic.

Masquage des données avec AutoPrep dans la plate-forme d'intégration SnapLogic
Figure 2 : Masquage des données avec AutoPrep

Pour en savoir plus sur les améliorations d'AutoPrep, consultez cette vidéo de démonstration.

Ingestion transparente des données sur Cloud avec les mises à jour AutoSync

SnapLogic AutoSync est un élément clé de l'initiative d'orchestration des données de SnapLogic Cloud , qui vise à orchestrer toutes les données des clients sur cloud et les points d'extrémité sur site. Avec AutoSync, nous voulons permettre aux clients de se connecter facilement aux systèmes d'entreprise, de gérer les mouvements de données, de construire des intégrations robustes et de fournir des niveaux élevés d'observabilité.

Avec les récentes mises à jour de SnapLogic AutoSync, nous avons ajouté la prise en charge de Google BigQuery en tant que point d'extrémité cible. Nous avons également ajouté une fonctionnalité de collaboration qui permet aux équipes informatiques de partager avec les utilisateurs professionnels des comptes de points de terminaison tels que ceux de Snowflake, Salesforce, Oracle, etc. Ainsi, les utilisateurs professionnels n'ont pas à s'occuper de la tâche compliquée de la configuration des comptes de points finaux et peuvent se concentrer sur le chargement des données dans l'entrepôt de données cloud . Les équipes peuvent également partager des comptes endpoint entre projets ou avec d'autres équipes.

Pour voir les mises à jour AutoSync en action, consultez cette vidéo.

Améliorations de la plate-forme

Avec les versions d'octobre et de novembre de plateforme , le site plateforme offre désormais davantage de fonctions de sécurité et de protection de la vie privée.

Les clients qui utilisent HashiCorp Vault avec SnapLogic comme référentiel de secrets peuvent restreindre l'utilisation de Vault à des espaces de projet spécifiques. Souvent, différents espaces de projet sont utilisés par différents départements au sein d'une organisation et, grâce à cette fonctionnalité, les secrets d'un espace de projet peuvent rester confidentiels au sein d'un département.

Une deuxième amélioration de la sécurité consiste à ajouter aux réponses des nœuds Groundplex des en-têtes de sécurité recommandés par l'OWASP, tels que Strict-Transport-Security, X-XSS-Protection, X-Frame-Options, etc. Ces en-têtes de sécurité sont essentiels pour se protéger contre le détournement de clics, le détournement de cookies, etc. qu'une entité malveillante peut utiliser.

Troisièmement, nous avons également mis à jour l'image de base de notre image préconstruite SnapLogic Groundplex de CentOS à AlmaLinux. Le support de CentOS 7 se terminera en 2024 et de nombreuses organisations ont donc commencé à faire ce changement.

En complément de ces fonctions de sécurité, nous avons ajouté les améliorations clés suivantes afin d'améliorer la productivité des utilisateurs lors de la création et de la gestion d'intégrations.

La première fonctionnalité vous permet de créer facilement une branche de fonctionnalité dans votre dépôt GitHub directement à partir de SnapLogic. Cette fonctionnalité vous permet, ainsi qu'aux membres de votre équipe, de travailler simultanément sur un pipeline de données dans leurs branches respectives, puis de fusionner leurs modifications ultérieurement.

Étiquette de branche GitHub à partir de la plate-forme d'intégration SnapLogic
Figure 3 : Créer une étiquette de branche GitHub à partir de SnapLogic

Une nouvelle fonction de tri du Mapper vous permet de trier le schéma par index entrant plutôt que par ordre alphabétique, ce qui vous permet d'accéder facilement aux champs/colonnes dont l'index est le plus bas et qui sont souvent les plus fréquemment utilisés.

Tri du mappeur par index entrant dans la plate-forme d'intégration SnapLogic
Figure 4 : Tri du mappeur par index entrant

Les projets héritent désormais des autorisations de l'espace de projet en un seul clic, ce qui élimine la nécessité de spécifier explicitement les autorisations. Nous pensons que même cette petite fonctionnalité vous apportera une valeur ajoutée considérable lors de la maintenance des intégrations.

Pour en savoir plus sur ces mises à jour, regardez cette vidéo.

Améliorations du Snap Pack

Les versions d'octobre et de novembre ajoutent un certain nombre d'améliorations au Snap Pack. Ces améliorations vous aident à créer rapidement des pipelines de données et des processus d'entreprise automatisés grâce à un plus grand nombre de connecteurs prédéfinis et de fonctionnalités complètes. 

Amazon S3 Snap Pack a été amélioré avec trois nouveaux Snaps pour améliorer la facilité d'utilisation.

  • Select Snap vous permet d'interroger directement des objets CSV/JSON/Parquet. Il prend également en charge les cas où les objets sont compressés au format GZIP ou BZIP2. Si le format des données d'entrée est CSV, les utilisateurs peuvent spécifier la configuration du format CSV d'entrée, c'est-à-dire le délimiteur de champ, le délimiteur d'enregistrement, etc. Si les données d'entrée sont au format JSON, le format JSON standard et les lignes JSON sont pris en charge.
  • Archive Snap vous permet de changer facilement la classe de stockage des objets dans S3. Snap prend en charge les classes de stockage suivantes : Standard, GlacierInstantRetrieval, GlacierFlexibleRetrieval, DeepArchive, IntelligentTiering, StandardInfrequentAccess, OneZoneInfrequentAccess, ce qui vous permet de choisir la bonne classe de stockage pour optimiser la vitesse et les coûts.
  • Restore Snap restaure les objets archivés dans S3. Le Snap lance la tâche de restauration des objets S3 archivés.

Marketo Snap Pack ajoute deux nouveaux Snaps Bulk Import et Bulk Export pour simplifier le mouvement des données en vrac dans et hors de Marketo :

  • Les snaps d'importation et d'exportation en bloc prennent en charge les activités, les membres du programme, les objets personnalisés et les pistes, en plus de la prise en charge antérieure de l'importation en bloc des pistes.

AlloyDB Snap Pack offre une connectivité prête à l'emploi à la base de données PostgreSQL hébergée dans Google Cloud.

Exchange Online Snap offre désormais une fonctionnalité de messagerie complète avec des fonctionnalités telles que :

  • Prise en charge des tableaux HTML lors de l'envoi de courriers électroniques
  • Prise en charge des pièces jointes en ligne et des pièces jointes ordinaires.
  • Possibilité de lire et de déplacer des courriels depuis et vers des dossiers ou des sous-dossiers

Azure Synapse Bulk Load Snap gère désormais les requêtes complexes telles que COPY INTO, ce qui vous permet de gagner du temps avec des connecteurs préconstruits lorsque vous effectuez des opérations de données complexes.

Snowflake Snap Pack prend désormais en charge l'amélioration des rapports d'erreur avec une vue complète des erreurs et une vue agrégée pour Bulk Load Snap afin que vous puissiez obtenir plus rapidement des informations pertinentes lors du dépannage ou de la maintenance.

Pour obtenir une liste complète des mises à jour de Snap, veuillez consulter notre documentation ici.

Facilité de développement de l'API

Enfin, les améliorations apportées à la gestion des API ne sont pas les moindres. Nous continuons à faciliter la création et la publication d'API pour les développeurs et les administrateurs d'API. Vous pouvez désormais automatiser des tâches banales par de simples clics et créer et gérer des API plus rapidement.

  • Vous pouvez facilement déplacer les actifs de l'API, tels que les fichiers et les pipelines, d'une version à l'autre pendant la création de l'API.
  • Vous pouvez facilement importer et exporter des politiques d'une version d'API à l'autre, ce qui vous permet d'appliquer un ensemble cohérent de politiques à l'ensemble de votre portefeuille d'API.
  • Vous pouvez bénéficier d'une plus grande flexibilité pour l'hébergement de vos API en modifiant le Snaplex lors de la publication des API sur le portail des développeurs.

La version de novembre 2022 introduit un certain nombre de nouvelles fonctionnalités et de nouveaux Snaps, alors essayez-les dans le produit et faites-nous part de vos commentaires ! Si vous avez manqué la version du produit de novembre 2022 webinar, vous pouvez la regarder ici et écouter les commentaires de notre équipe produit. Vous pouvez toujours en savoir plus sur ces mises à jour en visitant la documentation SnapLogic.

Si vous ne faites pas encore partie de la communauté SnapLogic, rejoignez la conversation ici. Participez aux discussions et obtenez des réponses à vos questions. Pour les prochaines versions de produits, consultez la section " Product Updates " (mises à jour des produits ) de la communauté pour avoir un premier aperçu de ce qui vous attend.

Photo de Dhananjay Bapat
Senior Technical Product Marketing Manager chez SnapLogic
Catégorie : Actualités Produit
Version de novembre 2022 : Accélérer la rentabilité des pipelines de données et des processus métier

Nous recrutons !

Découvrez votre prochaine grande opportunité de carrière.