Les limites des approches ETL et ELT à l'ère de l'agentique
Pourquoi les agents d'IA ont besoin de pipelines de données en temps réel, régulés et observables pour fonctionner de manière fiable à grande échelle
L'impératif de préparation des données
Les agents d'IA et leurs besoins en données transforment les exigences auxquelles doivent répondre les pipelines de données d'entreprise. Le transfert de données d'un emplacement à un autre, leur transformation à des fins d'analyse et leur chargement dans un entrepôt de données pour la création de rapports constituent des capacités fondamentales qui restent au cœur de toute stratégie moderne en matière de données.
L'IA agentique élargit considérablement ces exigences. Les agents doivent raisonner de manière transversale entre les systèmes, extraire un contexte précis, déclencher les workflows et agir dans le respect des autorisations appropriées, le tout dans des environnements professionnels réels et en temps réel.
Alors qu’auparavant, les architectes de données devaient souvent se contenter d’un choix relativement simple entre les modèles ETL et ELT, la mise en place d’une infrastructure de données pour l’IA agentique exige d’aller plus loin. Les données fournies par les pipelines doivent être à jour, gérées, observables et fiables au moment précis où un agent doit agir.
Ce guide fournit les lignes directrices permettant de faire les bons choix architecturaux pour répondre à ces nouvelles exigences, tout en continuant à satisfaire les exigences existantes.
Le débat ETL contre ELT n'est qu'un point de départ. L'IA agentique nécessite des pipelines de données auxquels les agents peuvent se fier.
Pourquoi la distinction entre ETL et ELT ne suffit plus
Depuis des années, les équipes chargées des données évaluent les approches ETL et ELT en fonction de différents critères tels que la vitesse, l'évolutivité, le contrôle et la gouvernance.
L'ETL (extraction, transformation, chargement) aide les organisations à transformer, valider et normaliser les données avant leur transfert vers un système de destination. C'est souvent la solution la plus adaptée lorsque la conformité, la précision et les contrôles préalables au chargement sont primordiaux.
L'ELT (extraction, chargement, transformation) aide les équipes à transférer rapidement les données vers cloud , des lacs de données et des « lakehouses » cloud , puis à les transformer en fonction des besoins analytiques ou opérationnels à mesure que ceux-ci évoluent. Il favorise la flexibilité, l'expérimentation et l'évolutivité dans des environnements en constante évolution.
La plupart des entreprises ont désormais recours à ces deux approches, et ce à juste titre. La question la plus pressante est de savoir si l’une ou l’autre de ces approches, telles qu’elles sont actuellement mises en œuvre, est prête à accueillir des agents d’IA.
Les agents IA imposent de nouvelles exigences à l'infrastructure de données. Ils ne se contentent pas de consommer des données pour alimenter des tableaux de bord. Ils utilisent ces données pour raisonner, formuler des recommandations, automatiser des processus, signaler des problèmes et agir au sein des différents systèmes. Lorsque ces données sont obsolètes, incomplètes, mal gérées ou dépourvues de contexte métier, l'agent produit des résultats inadéquats à une vitesse qui dépasse la capacité d'une équipe humaine à les détecter ou à les corriger.
Les limites des canaux de distribution traditionnels
L'IA agentique met en évidence des faiblesses que de nombreuses organisations ont contournées pendant des années. Par exemple :
Transfert de données par lots
Les cycles de mise à jour des données effectués uniquement pendant la nuit constituent un frein lorsque les agents ont besoin de données actualisées sur les clients, les transactions, les risques ou les opérations au cours de la journée de travail.
Lacunes en matière de gouvernance
Les politiques appliquées au niveau d'un point de terminaison API ne couvrent pas les requêtes de base de données, les connexions JDBC et les workflows personnalisés que les workflows utilisent également pour accéder aux données.
Métadonnées fragmentées
Les termes « client » ou « commande » peuvent revêtir des significations différentes selon qu'il s'agit du CRM, de l'ERP, de la facturation ou de l'entrepôt ; les agents ont donc besoin d'une couche sémantique commune pour pouvoir agir en toute fiabilité.
Signaux de confiance d'exécution manquants
Les agents doivent pouvoir vérifier si les données sont à jour, gérées et traçables, afin que les équipes puissent avoir confiance dans leurs actions et intervenir dès qu'elles constatent une anomalie.
Échec du passage de l'environnement de test à l'environnement de production
Lorsque les projets pilotes menés dans un environnement de test « propre » se heurtent à des données de production « désordonnées » (valeurs nulles, doublons, dérive du schéma), les architectures qui ne sont pas conçues pour cela transforment les cas limites en risques cumulés.
Inefficacité dans la pratique
Au sein de DCU, les équipes commerciales devaient auparavant copier, coller et fusionner manuellement des données provenant de plusieurs systèmes dans des feuilles de calcul. Lorsque les données étaient enfin prêtes à être utilisées, elles étaient déjà obsolètes, et les mêmes informations extraites de différents systèmes présentaient souvent des incohérences. Poursuivez votre lecture pour découvrir comment DCU a harmonisé ces processus grâce à SnapLogic afin d’obtenir plus rapidement des informations exploitables.
Les agents IA prêts à être déployés en production ont besoin de pipelines capables de fournir des données à jour, d'appliquer des contrôles d'accès et de mettre en évidence les indicateurs de confiance dont les équipes ont besoin avant de passer à l'action.
Ce dont l'IA agentique a besoin des données d'entreprise
Les agents d'IA imposent de nouvelles exigences à l'infrastructure de données des entreprises. Ils ont besoin d'une couche d'exécution fiable qui leur fournisse les données adéquates, dans le bon contexte, avec les contrôles appropriés, au moment même où ils doivent agir.
C'est là que les choix traditionnels entre ETL et ELT s'inscrivent dans un modèle de préparation plus large, en fonction des besoins spécifiques de l'organisation. Par exemple, les données peuvent devoir être :
- Transformé et régi avant même l'apparition de tout mouvement
- Chargé rapidement, puis transformé à proximité du lieu d'utilisation
- Accessibles via des API, des événements ou les workflows d'agents
Mais l'objectif reste le même, quel que soit le modèle : chaque pipeline doit être fiable, traçable, observable et prêt à l'action. Pour répondre à cette exigence , des progrès doivent être réalisés dans les domaines suivants :
Des données en temps réel là où elles comptent
Tous les pipelines n'ont pas nécessairement besoin de données en temps réel, mais lorsqu'un agent prend une décision en matière de risque ou déclenche un workflow, l'actualité des données a une incidence directe sur le résultat ; les équipes chargées des données doivent donc donner la priorité aux pipelines sensibles à la latence.
Gouvernance et contexte intégrés dès la conception
Les agents doivent savoir ce que signifient les données, qui peut y accéder et quelles actions sont autorisées, ce qui nécessite des métadonnées cohérentes, une traçabilité et une application rigoureuse des politiques ; sinon, ils hériteront de l'ambiguïté existante au sein de l'entreprise et agiront en conséquence à grande échelle.
Observabilité avant la mise en production
Les agents ont besoin de signaux de confiance avant d'agir, ce qui implique une visibilité permanente sur la qualité des données, l'état du pipeline et les comportements, car il n'existe aucun autre moyen de confirmer qu'une action s'est fondée sur des données précises et à jour.
La traçabilité, gage de confiance
Les auditeurs, qu'ils soient internes ou externes, ont besoin d'une visibilité totale sur la manière dont les données sont consultées, transférées et traitées ; un pipeline régulé constitue donc le cadre idéal pour générer les fichiers journaux enrichis qu'un simple journal de connexion ne peut pas fournir.
Le fait que les systèmes soient connectés ne signifie pas automatiquement que les données sont prêtes pour l'IA, et la préparation des données pour l'IA n'est pas une étape ponctuelle. Elle nécessite un pipeline faisant l'objet d'une gouvernance continue, observable et fiable.
SnapLogic : conçu pour l'ère de l'agentique
SnapLogic aide les équipes à connecter des données, des applications, des API et des agents d'IA via une couche d'intégration régie par des règles. Plutôt que de gérer des outils distincts pour les workflows ETL, ELT, basés sur les API, pilotés par les événements et basés sur des agents, les équipes travaillent à partir d'une plateforme unique plateforme prend en charge chaque modèle sans accumuler la dette de maintenance liée au code personnalisé ni la complexité des connexions point à point.
Les Snaps prêts à l'emploi accélèrent la connectivité à tous les niveaux de l'infrastructure d'entreprise, des cloud et des outils SaaS aux systèmes existants, en passant par les modèles de langage à grande échelle (LLM) et les bases de données vectorielles. Le développement « low-code » et assisté par l'IA réduit le temps nécessaire à la création, à l'adaptation et à la gestion des pipelines à mesure que les besoins évoluent.
L'IA agentique en action
L'IA agentique donne des résultats lorsque les données, les applications, les API et les workflows interconnectés via une couche d'intégration régie par des règles. Les organisations qui progressent mettent en place des modèles d'intégration reproductibles qui relient les systèmes, préservent le contexte et permettent de suivre les activités pilotées par l'IA.
Des agents IA d'entreprise qui apportent une réelle valeur ajoutée à l'entreprise
Jean-Paul, l'agent IA interne de SnapLogic, se connecte aux systèmes sur lesquels s'effectuent les tâches, notamment Salesforce, Zendesk, BigQuery et Box, afin de fournir des résultats finaux basés sur des données en temps réel. S'appuyant sur la couche d'intégration existante de SnapLogic, Jean-Paul a été déployé en quelques jours et est rapidement devenu un agent de production à l'échelle de l'entreprise.
Résultats : En quatre mois, Jean-Paul a généré une valeur estimée à plus de 3 millions de dollars, a permis de gagner plus de 2 000 heures en l'espace de 30 jours, a traité plus de 1 600 demandes et a produit plus de 200 documents de qualité professionnelle.
IA agentique encadrée dans le secteur des services financiers réglementés
Cambridge & Counties Bank utilise l'IA agentique pour soutenir son ambition de croissance stratégique dans le domaine du financement d'actifs, avec pour objectif de faire passer le chiffre d'affaires annuel de cette activité de 100 millions à 300 millions de livres sterling, en réduisant le temps de prise de décision de plusieurs jours à quelques minutes. SnapLogic sert de couche d'orchestration agentique, gérant ce qui s'exécute, quand cela s'exécute et dans quel ordre.
L'approche de la banque vise à automatiser les tâches, et non à supprimer le contrôle. L'intervention humaine, la notation de confiance, les agents modulaires et la traçabilité sont intégrés à l'architecture afin que les équipes puissent gagner en rapidité tout en conservant le contrôle dans un environnement réglementé.
Impact : Cambridge & Counties Bank vise à tripler sa capacité opérationnelle tout en continuant à placer l'expertise humaine au cœur des décisions à forte valeur ajoutée.
Une intégration moderne qui met à profit l'IA
Spirent devait simplifier un environnement d'intégration fragmenté tout en trouvant un moyen pratique d'utiliser l'IA dans l'ensemble de les workflows internes. Grâce à SnapLogic, Spirent a unifié ses processus d'intégration sur une plateforme centralisée plateforme a utilisé AgentCreator développer une application d'intelligence commerciale basée sur l'IA. Une semaine seulement après son déploiement, l'assistant avant-vente était déjà capable de résumer des articles sur la concurrence et d'alimenter Salesforce en informations pertinentes pour 200 commerciaux.
Résultats : Spirent a réduit de 90 % les coûts plateforme d'intégration, a augmenté de 25 % la productivité de ses collaborateurs chargés de l'intelligence économique et prévoit de réaliser une économie de 144 000 dollars par an sur ses abonnements à des services d'IA.
« SnapLogic simplifie l'intégration grâce plateforme une plateforme centralisée et conviviale plateforme connecter en toute sécurité tous nos systèmes, qu'il s'agisse d'outils existants ou d'applications cloud. »
Matt Bostrom, vice-président de la technologie d'entreprise, Spirent
L'efficacité dans la pratique
La DCU a migré plus de 5 milliards d'enregistrements vers Amazon Redshift en l'espace de six mois et a accéléré les travaux d'intégration grâce à des pipelines SnapLogic réutilisables.
Comment jeter les bases de l'IA agentique en matière de données
La préparation à l'IA agentique ne nécessite pas de tout moderniser d'un seul coup. Commencez par les workflows un meilleur accès aux données et une meilleure gouvernance peuvent générer un impact commercial mesurable, puis posez les bases d'intégration nécessaires pour évoluer en toute sécurité.
Étape 1
Déterminer la dette d'intégration
Identifiez les workflows le travail est ralenti par la difficulté d'accéder aux données, de les rapprocher ou de s'y fier. Il s'agit généralement de situations où les collaborateurs doivent copier des données d'un système à l'autre, attendre la réponse d'analystes ou consulter plusieurs applications avant de prendre une décision. Ces frictions sont révélatrices : si un workflow déjà des difficultés aux collaborateurs, il comportera des risques pour les agents tant que la base de données n'aura pas été améliorée.
Étape 2
Choisissez des cas d'utilisation présentant une valeur métier évidente
Les cas d'utilisation les plus pertinents de l'IA agentique concernent les workflows à forte friction les workflows les résultats les workflows mesurables. Privilégiez les processus impliquant des recherches répétées de données, la génération de documents, l'acheminement ou l'aide à la décision opérationnelle. Veillez à ce que les humains restent impliqués lorsque le jugement, la conformité ou l'expérience client sont primordiaux.
Étape 3
Créer des modèles d'intégration réutilisables et régis par des règles
Évitez les intégrations ponctuelles pour chaque agent. Mettez en place des pipelines réutilisables, des API régies par des règles et des modèles d'accès standardisés capables de prendre en charge plusieurs les workflows temps. Une architecture adaptée peut inclure des processus ETL et ELT, des API, des événements et l'orchestration des agents. L'essentiel est que chaque modèle soit régi par des règles, observable et réutilisable.
Étape 4
Intégrer l'observabilité à l'architecture
L'observabilité doit être intégrée dès le début. Les équipes doivent pouvoir évaluer l'état du pipeline, la qualité des données, le comportement des agents et les validations humaines avant que les agents n'atteignent l'environnement de production, puis de manière continue par la suite. C'est cette base solide qui permet de transformer un projet pilote prometteur en un workflow de production fiable.
La simple opposition entre ETL et ELT ne suffit pas. L'IA agentique nécessite une couche d'intégration conçue pour l'action, la gouvernance et l'évolutivité.
Commencez à créer
Les entreprises qui progressent dans le domaine de l'IA agentique considèrent la préparation des données comme une discipline permanente. Elles interconnectent leurs systèmes, régulent les accès, surveillent les pipelines et s'améliorent en permanence à mesure que l'utilisation des agents se généralise au sein de l'entreprise.
Il faut commencer par les domaines où les frictions liées aux données génèrent le plus de risques ou ralentissent les tâches les plus importantes. À partir de là, des modèles d'intégration réutilisables et une observabilité intégrée permettent de développer l'IA agentique en toute confiance.
