IA générative : maîtriser la prolifération des pipelines de données

Portrait de Manish Rai
3 minutes de lecture

Les responsables informatiques sont aujourd'hui confrontés à une demande croissante de la part des partenaires commerciaux, à des délais d'exécution plus courts et à une main-d'œuvre volatile. L'un des défis les plus importants à relever est la croissance rapide des données, des applications et des API, ce qui rend le défi de l'intégration encore plus décourageant. Pour relever ce défi, les entreprises se sont de plus en plus tournées vers le développement citoyen sur des plateformes d'intégration et d'automatisation faciles à utiliser. Cependant, cette approche peut conduire à la prolifération des pipelines de données, créant ainsi un nouveau casse-tête pour l'informatique. Dans ce blog, nous allons explorer comment l'IA générative peut fournir une gouvernance autour du libre-service sans encombrer les employés.

Le mois dernier, nous avons annoncé SnapGPT, la première solution d'IA générative du secteur conçue pour créer des pipelines de données entièrement fonctionnels, rationaliser la génération de requêtes SQL, simplifier la transformation des données et générer des données synthétiques pour tester de nouveaux pipelines, le tout à l'aide de simples instructions en langage naturel. En parallèle, notre équipe de recherche a également exploré d'autres domaines dans lesquels les grands modèles de langage (LLM) comme ChatGPT peuvent aider nos clients. Nous avons partagé nos progrès dans le premier SnapLabs Corner webinar.

Notre site plateforme est incroyablement convivial et offre un délai de rentabilisation rapide, ce qui a conduit nombre de nos clients à l'ouvrir aux développeurs citoyens. Malheureusement, cela a parfois entraîné une prolifération des pipelines, certains clients ayant besoin d'aide pour gérer des milliers de pipelines mal documentés et dépourvus de noms conviviaux. Nous pensons qu'à l'avenir, les LLM seront en mesure de fournir une gouvernance autour du libre-service afin de maîtriser la prolifération.

Les LLM semblent prometteurs pour régir le développement des citoyens sans encombrer les utilisateurs en libre-service. Nous pensons qu'à l'avenir, les LLM seront en mesure d'apporter une aide dans les domaines suivants :

  1. Générer des noms et des descriptions conviviaux et cohérents pour les pipelines
  2. Identifier les pipelines en double
  3. Fournir de meilleures analyses sur l'utilisation par département, par application et par cas d'utilisation
  4. Reconnaître les expressions couramment utilisées
  5. Regrouper les pipelines similaires et recommander des possibilités de rationalisation
  6. Identifier les pipelines de mauvaise qualité

En conclusion, l'IA générative est une technologie puissante qui pourrait aider les organisations à assurer la gouvernance de l'intégration citoyenne et à maîtriser la prolifération des pipelines de données. Nous pensons que l'IA générative aide les organisations à réaliser des intégrations plus efficaces et plus rentables en éliminant les pipelines en double, en identifiant les pipelines de mauvaise qualité et en fournissant une visibilité sur l'utilisation des pipelines à travers les applications, les départements et les cas d'utilisation. La capacité d'intégrer, d'automatiser et d'orchestrer le flux de données plus rapidement et plus loin à l'échelle en utilisant des technologies comme l'IA générative est la clé de la compétitivité future des entreprises.

Portrait de Manish Rai
Vice-président du marketing produit chez SnapLogic
IA générative : maîtriser la prolifération des pipelines de données

Nous recrutons !

Découvrez votre prochaine grande opportunité de carrière.