OpenAI a récemment présenté GPT-4, la dernière version de son modèle de langage. Cette itération offre une amélioration significative de la capacité de génération et de raisonnement par rapport aux modèles GPT-3. Nous pensons que le GPT-4 et ses successeurs transformeront l'automatisation de l'intégration des données et des applications.
Chez SnapLogic, notre vision est d'offrir une intégration et une automatisation sans friction. Nous avons contribué à l'incorporation de l'IA et de la technologie ML pour rationaliser l'intégration, l'automatisation et l'orchestration des flux de données dans les entreprises. Notre solution d'IA Iris, entraînée sur plus de pétaoctets de métadonnées, a déjà apporté une valeur considérable à nos clients au cours des six dernières années. Nous explorons maintenant activement l'utilisation de GPT-4 pour améliorer encore nos capacités plateforme .
Les grands modèles de langage (LLM) comme le GPT-4 peuvent aider les organisations à simplifier et à automatiser l'intégration des processus d'entreprise, et à unifier les données entre les applications dans des entrepôts de données pour l'établissement de rapports et pour l'analyse descriptive et prédictive.
Ce que nous avons vu jusqu'à présent
Chez SnapLogic, nous avons prototypé une variété de cas d'utilisation d'intégration et d'automatisation en utilisant ChatGPT (GPT-3.5) pour relier l'intention exprimée dans le langage de l'entreprise à l'implémentation technique pour réaliser l'objectif de l'entreprise. Nous voulions voir comment l'amélioration du raisonnement et la prise en charge d'invites plus longues de GPT-4 amélioraient nos cas d'utilisation basés sur l'intégration.
Au cours des deux derniers jours, nous avons rapidement testé et comparé nos invites précédentes avec GPT-3.5 et GPT-4. En outre, nous avons expérimenté des cas d'utilisation complètement nouveaux et plus exigeants. Jusqu'à présent, nous sommes extrêmement impressionnés par l'amélioration de la précision des réponses du GPT-4. Il convient de noter que le GPT-4 est actuellement plus coûteux par jeton (longueur de l'invite) et légèrement plus lent dans la génération des réponses. Cela dit, le coût et le temps semblent justifiés par l'amélioration de la précision des réponses.
Notre intérêt est motivé par l'énorme pression que subissent les entreprises pour accroître leur agilité tout en réduisant leurs coûts. Dans notre travail, nous constatons que la fragmentation des processus et des données due à la prolifération simultanée des applications SaaS départementales, l'utilisation croissante d'API publiques et locales et l'explosion des données hétérogènes provenant des systèmes d'entreprise départementaux sont quelques-uns des principaux obstacles à l'agilité de l'entreprise.
Cas d'utilisation de l'IA dans l'intégration et l'automatisation des données
Nous pensons que les LLM peuvent simplifier l'intégration des données et des applications dans les domaines suivants :
1. L'extraction
SQL est le langage des données d'entreprise dans les bases de données et les entrepôts de données cloud . 65% des pipelines de nos clients incluent au moins un Snap SQL. L'écriture des requêtes dans ces snap peut être un processus difficile, nécessitant une compréhension approfondie non seulement du SQL, mais aussi des structures des bases de données cibles et des nuances spécifiques à chaque magasin de données. Les capacités avancées de NLP de GPT-4 peuvent simplifier la formulation des requêtes SQL. Grâce à sa capacité à comprendre les structures de données et les relations complexes, GPT-4 peut aider les utilisateurs à générer des requêtes plus précises et plus efficaces à l'aide d'invites en langage naturel. Cela peut réduire de manière significative le temps et l'expertise technique nécessaires pour extraire des données de diverses sources.
2. La transformation
GPT-4 peut simplifier le processus de préparation des données en automatisant la transformation des données d'un format à un autre. Grâce à ses capacités avancées d'apprentissage automatique, GPT-4 peut identifier des modèles et des relations dans les données et générer la logique nécessaire pour les transformer automatiquement dans le format souhaité. Cela permet de réduire considérablement le temps et les efforts nécessaires à la préparation des données et d'augmenter la précision des données.
3. Création d'un pipeline de données
En utilisant des invites en langage naturel, GPT-4 a la capacité de simplifier la création de pipelines de données en guidant les utilisateurs tout au long du processus. En spécifiant leurs exigences dans un langage conversationnel, les utilisateurs peuvent minimiser l'intervention manuelle, car GPT-4 génère le flux de traitement, les expressions ou les scripts nécessaires à la création du pipeline. Cela permet aux organisations de gagner du temps et de réduire les erreurs dans le processus de création du pipeline. En outre, GPT-4 peut suggérer les configurations appropriées pour les connexions de données, éliminant ainsi le défi de la connexion aux données de l'entreprise.
4. L'assurance de la qualité
GPT-4 peut aider à automatiser les tests et l'assurance qualité des processus d'intégration et d'orchestration des données et des applications. Nous avons constaté que GPT-4 peut résumer de petits échantillons d'ensembles de données et identifier les problèmes de qualité des données tels que les erreurs et les conflits de données. Ces réponses peuvent ensuite être utilisées pour appliquer des transformations de nettoyage de données sur un ensemble de données plus important afin de produire des données de haute qualité pour la base de données cible ou l'entrepôt de données cloud .
5. Dépannage
En cas de problèmes ou d'erreurs dans les processus d'intégration et d'orchestration des données et des applications, GPT-4 peut aider à résoudre le problème. Grâce à sa capacité à résumer des structures de données et des relations complexes, ainsi qu'à transformer des messages d'erreur système compliqués en langage clair, GPT-4 peut rapidement identifier la cause première du problème et suggérer des solutions potentielles. Cela permet de réduire considérablement le temps et les efforts nécessaires au dépannage et d'accroître l'efficacité du système.
6. Perspectives
Les capacités avancées de NLP de GPT-4 peuvent aider les utilisateurs à obtenir des informations sur un sous-ensemble de données d'entreprise en leur permettant de poser des questions aux données en langage naturel. La possibilité pour les experts en la matière non techniques de poser des questions dans leurs propres termes peut réduire considérablement le temps et les efforts nécessaires à l'analyse des données et augmenter la précision des informations.
Nous pensons que les capacités avancées de NLP, d'apprentissage automatique et de traitement des données de GPT-4 offrent des opportunités significatives pour simplifier et automatiser les processus d'intégration et d'orchestration des données et des apps.
Poursuivre la conversation : quelle est la prochaine étape ?
Chez SnapLogic, nous sommes ravis de voir le potentiel du GPT-4 et nous sommes impatients d'explorer ses capacités pour continuer à concrétiser notre vision de longue date de l'intégration et de l'automatisation sans friction.
Nous avançons rapidement et sommes convaincus qu'en collaborant avec la communauté SnapLogic, nous serons en mesure d'offrir une nouvelle expérience transformatrice en termes de délai d'obtention de la valeur, ce qui se traduira par des résultats pour l'entreprise, tant au niveau du chiffre d'affaires qu'au niveau du résultat.
Nous remercions tout particulièrement Greg Benson, scientifique en chef, et Manish Rai, vice-président du marketing produit chez SnapLogic, pour leurs réflexions et leurs contributions à cette discussion en cours.
Pour poursuivre la conversation et en savoir plus sur ces avancées, regardez l'événement Reveal : L'avenir de l'intégration avec l'IA générative maintenant disponible à la demande.
