La transformation des données permet de réconcilier et de normaliser les données afin qu'elles soient utiles en tant que source unique de "vérité des données". Pendant des décennies, la méthode de transformation et de migration de choix a été l'ETL (extraction, transformation, chargement). Les organisations utilisant le stockage de données sur site payaient souvent un supplément d'espace et de puissance de traitement, et il était donc logique qu'elles nettoient et transforment leurs données avant de les charger dans le système de stockage.
Aujourd'hui, grâce à l'essor du stockage cloud , nous disposons d'une deuxième option : ELT (extract, load, transform). Les organisations qui sont passées à cloud ne sont plus limitées par la taille et la puissance de traitement, et nombre d'entre elles choisissent désormais de transformer leurs données après les avoir chargées dans le système de stockage.
Cela signifie-t-il que les PEL sont le processus le plus favorable ? Souvent, mais pas toujours. Lisez la suite pour connaître les différences fonctionnelles entre les deux processus et explorer leurs considérations et cas d'utilisation respectifs.
Qu'est-ce que l'ETL ?
ETL est l'abréviation de "Extract, Transform, and Load" (extraction, transformation et chargement). Il s'agit du processus d'extraction de données à partir d'une ou de plusieurs sources et de leur transfert vers un environnement de stockage. Les données y sont nettoyées et transformées avant d' être chargées dans un entrepôt de données pour y être stockées et analysées.
Voici la répartition des trois étapes de l'ETL :
Extrait
- Les données sont extraites de la ou des sources et déplacées vers une zone de transit. Les formats courants de sources de données comprennent les bases de données relationnelles, XML, JSON et les fichiers plats, mais peuvent également inclure des bases de données non relationnelles telles que les systèmes de gestion de l'information.
- Les données sont validées lors de leur extraction afin de garantir leur exactitude. Les données qui ne satisfont pas aux règles de validation sont rejetées, puis éliminées ou (idéalement) renvoyées à leur source pour un diagnostic plus approfondi.
Transformer
- Les données validées sont nettoyées dans la zone de transit. Cette partie cruciale du processus de transformation des données consiste à identifier les données corrompues, dupliquées, non pertinentes, bruyantes ou mal représentées, puis à les remplacer, les modifier ou les supprimer.
- D'autres transformations interviennent pour que les données puissent être stockées sous une forme utile. Les transformations courantes comprennent le tri et le filtrage, la fusion de données provenant de sources multiples, la combinaison ou la division de lignes et de colonnes, la traduction de valeurs codées et l'exécution de calculs de base. Les données sensibles sont également nettoyées, cryptées, expurgées et protégées avant d'être exposées aux utilisateurs professionnels.
Chargement
- Les données sont chargées vers leur cible finale pour être stockées. Pour l'ETL, la cible finale est généralement un entrepôt de données, mais il peut s'agir de n'importe quel magasin de données. Le processus de chargement des données varie considérablement en fonction des besoins de l'organisation. Celles qui ne s'appuient pas sur des données historiques peuvent remplacer les anciennes données par les nouvelles, tandis que d'autres souhaitent créer un historique en chargeant les données sous forme historique à intervalles réguliers.
- Les contraintes définies dans la base de données peuvent également être déclenchées lors du chargement, ce qui permet de filtrer davantage les données. La base de données peut filtrer les doublons qui existent déjà dans la base de données, rejeter les données auxquelles il manque des champs obligatoires ou effectuer d'autres actions en fonction des paramètres définis par l'organisation.
- Les données stockées sont maintenant prêtes à être analysées. Les outils d'analyse de données les plus courants sont Tableau, Microsoft Power BI et Qlik Sense.
L'objectif principal de l'ETL est de charger des données propres et cohérentes dans l'entrepôt. Le fait de ne charger que les données nécessaires libère de l'espace de stockage et de la puissance de traitement. C'est donc un bon choix pour les organisations qui stockent leurs données sur site ou qui utilisent une autre solution de stockage qui n'est pas suffisamment évolutive. La plupart des outils ETL traditionnels sont conçus pour les bases de données sur site.
Qu'est-ce que l'ELT ?
Dans le processus ELT, les données sont chargées dans le stockage avant toute transformation.
ELT utilise les entrepôts de données cloud pour charger tous les types de données sans devoir procéder à des transformations complexes au préalable. Ce processus est possible grâce aux lacs de données, un type spécial de stockage où toute information brute peut être téléchargée. Une fois que les données ont atteint leur destination, elles peuvent être sélectionnées et transformées selon les besoins.
Dans le cadre des ELT, l'entreprise saisit toutes les données, qu'elle les utilise ou non, de sorte que personne n'a besoin de passer du temps à transformer des données qui ne seront pas utiles en fin de compte.
La vitesse et l'évolutivité d'ELT sont rendues possibles par la technologie moderne des serveurs cloud . En utilisant des entrepôts de données basés sur cloud, les entreprises bénéficient de capacités de stockage exponentielles et peuvent augmenter considérablement leur puissance de traitement. Des plateformes comme Amazon Redshift et Snowflake ont d'immenses capacités de traitement et rendent possibles les pipelines ELT.
ELT ne fonctionne pas avec les systèmes sur site.
Extrait
- Les données sont extraites de la (des) source(s) et déplacées vers une zone de stockage. Contrairement à l'ETL, les données ne sont pas soumises à un processus de validation à ce stade.
Chargement
- Les données sont immédiatement chargées dans leur format brut vers le lac de données, où elles seront stockées. Les solutions de stockage cloud les plus populaires sont Amazon Web Services, Cloudera, Google Cloud et Microsoft Azure.
Transformer
- Les données sont transformées en fonction des besoins. Cela permet de gagner du temps à long terme, car les gens n'appliqueront pas de transformations à des données dont ils n'ont pas besoin.
Avantages et inconvénients de l'ETL par rapport à l'ELT
Lorsque vous décidez si l'ETL ou l'ELT convient à votre entreprise, les principaux facteurs à prendre en compte sont le coût et la complexité du stockage des données. L'ELT est plus rapide, car il s'appuie sur le stockage cloud avec des lacs de données qui peuvent gérer une quantité massive de données brutes, non structurées et semi-structurées. Si vous utilisez un stockage sur site, l'ETL vous permet d'éviter les coûts liés au stockage de données inutiles.
Une autre considération est la sensibilité de vos données brutes. Dans l'ETL, les données sensibles peuvent être masquées ou supprimées au cours du processus de transformation. Dans l'ELT, toutes les données sont envoyées à l'entrepôt, ce qui peut exposer les organisations à des violations des lois HIPAA, CCPA ou GDPR. Cependant, il est possible de protéger les données sensibles pendant le processus d'ELT grâce au cryptage et à une bonne gouvernance des données.
En fin de compte, le choix se résume aux questions suivantes : Avez-vous besoin d'être sélectif quant aux données que vous stockez (ETL) ? Ou êtes-vous prêt à capturer et à stocker toutes vos données, même si vous ne les utilisez jamais (ELT) ?
Avantages de l'ETL
- Une plus grande flexibilité - L'ETL permet des transformations plus complexes et des outils plus larges tout en minimisant les silos de données et les enfermements pour vos données transformées.
- Conformité facilitée - Les ensembles de données sensibles peuvent être expurgés ou cryptés, ce qui facilite le respect des normes de conformité GDPR, HIPAA, CCPA et autres. Lorsque vous transformez les données avant qu'elles n'atteignent l'entrepôt de données, vous réduisez considérablement le risque d'exposer des données non conformes.
- Une plus grande disponibilité - L'ETL existe depuis 20 ans ; il existe de nombreux outils ETL dans le domaine de l'intégration des données et la connaissance de l'ETL est une compétence courante chez les développeurs.
Les défis de l'ETL
- Processus plus lent - L'ETL nécessite une étape supplémentaire, à savoir le chargement des données dans une zone de stockage avant leur traitement.
- Plus grand risque d'erreur humaine - Comme vous n'ingérez pas les données et ne les chargez pas directement dans l'entrepôt, le risque de charger des données erronées dans l'entrepôt est plus grand. Comme aucune transformation n'intervient ensuite, des données incorrectes risquent d'être utilisées pour l'analyse.
Avantages des ELT
- Disponibilité plus rapide - ELT permet une disponibilité et un chargement plus rapides des données pour une analyse plus rapide.
- Concentration plus forte - ELT est idéal pour les petits ensembles de données avec des transformations simples qui ont un impact minimal sur l'utilisation du traitement de l'entrepôt de données cloud .
- Coûts réduits - ELT est basé sur cloud et ne nécessite pas de matériel coûteux.
- Maintenance réduite - Les ELT intègrent généralement des solutions automatisées, de sorte qu'ils nécessitent très peu de maintenance.
- Plus évolutive - Comme ELT est flexible et n'est pas limité par la taille, la solution s'adapte très facilement.
Les défis de l'ELT
- Peut être coûteux - Les outils et les ressources ELT peuvent être plus coûteux que les outils ETL parce qu'une plus grande quantité d'informations est traitée en moins de temps. L'ELT peut également nécessiter plus de compétences qu'une solution ETL, ce qui peut nécessiter l'embauche d'experts en ELT.
ETL vs. ELT : une comparaison côte à côte
Le tableau suivant présente la comparaison entre l'ETL et l'ELT en fonction de facteurs clés tels que le coût, la complexité et le temps de maintenance.
| Facteur/Considération | ETL | ELT |
| Taille de l'ensemble des données | Petit | Grandes dimensions |
| Temps - transformation | Temps considérable, car le processus de transformation doit être entièrement achevé avant le chargement. | Peut prendre moins de temps car les données peuvent être transformées en fonction des besoins. |
| Temps - chargement | Lenteur | Rapide, car les données brutes sont chargées directement dans le système cible |
| Durée de l'entretien | Entretien important | Peu d'entretien, mais peut nécessiter une expertise supplémentaire dans un premier temps |
| Vie privée | Les expurgations et les transformations préalables au chargement préservent la confidentialité des données | Il faut davantage de garanties en matière de protection de la vie privée |
| Types de données pris en charge | Données structurées | Données brutes, non structurées, semi-structurées et structurées |
| Soutien au lac de données | Non, l'ETL n'est pas compatible avec les lacs de données. | Oui, ELT est compatible avec les lacs de données |
| Soutien à l'entrepôt de données | Utilisé uniquement pour les données relationnelles sur site | Utilisé dans l'infrastructure cloud |
| Coût | Des serveurs séparés peuvent poser des problèmes de coût, mais la complexité moindre des données peut compenser les coûts. | Peut être coûteux en fonction des besoins de traitement et d'expertise, mais la simplification de la pile de données peut compenser les coûts. |
ETL vs ELT : lequel vous convient le mieux ?
L'ETL et l'ELT sont tous deux des solutions viables pour le mouvement et la transformation des données, mais ils sont mieux adaptés à des cas d'utilisation différents.
L'ETL peut vous convenir si vous.. :
- n'utilisent pas de données en temps réel.
- Disposer d'ensembles de données plus petits qui ne nécessitent pas de transformations complexes.
- Doit réduire tout risque d'exposition de données non conformes.
- Utiliser une base de données relationnelle OLAP ou un entrepôt de données SQL.
- Il n'est pas nécessaire de transférer des données non structurées dans un système de données cible.
- sont prêts à attendre de longs temps de chargement.
L'ELT peut être la meilleure solution si vous.. :
- Vous souhaitez capturer toutes les données structurées et non structurées, quelle que soit leur taille, auxquelles votre entreprise a accès.
- Saisir les données en temps réel.
- Disposer des ressources nécessaires pour gérer les lacs de données et embaucher des experts en ELT.
- Disposer d'un système de données cibles puissant, basé sur cloud, pour traiter les volumes de données entrants.
- Donner la priorité au chargement rapide des données.
Faciliter la migration des données avec SnapLogic ELT
Des processus de migration et de transformation fiables permettent d'obtenir des données fiables. Et que vous choisissiez l'ETL ou l'ELT, la capacité à faire confiance à vos données et à y accéder facilement est essentielle au succès de votre entreprise. SnapLogic propose toutes ces méthodes de déplacement et de transformation des données dans une solution éprouvée et puissante basée sur cloud- plateforme qui répond aux besoins et aux objectifs uniques de votre organisation.
L'iPaaS (integration plateforme as a service) de SnapLogic peut vous aider à simplifier et à automatiser l'intégration des données et des applications. L'iPaaS utilise des points d'extrémité d'API qui permettent aux différentes applications de votre organisation de partager des informations par le biais d'un canal de communication commun, ce qui favorise la collaboration les workflows.
Alors que la plupart des solutions iPaaS peuvent s'intégrer à des systèmes cloud, sur site et hybrides, SnapLogic propose également une solution ELT dédiée. SnapLogic ELT est un site plateforme à code réduit ou sans code qui vous permet de tirer parti de la puissance d'un entrepôt de données cloud pour transformer vos données. L'outil utilise un langage de programmation visuel pour charger rapidement les données et les transformer sur place. Parallèlement, il exploite la puissance de calcul de l'entrepôt de données cloud pour préparer les données structurées à l'analyse.
Avec plus de 700+ Snaps préconstruits, SnapLogic permet l'ingestion de données à partir de points d'extrémité d'applications et de données. Parallèlement, les fonctionnalités ELT du site plateforme gèrent la transformation via les entrepôts de données cloud tels que Snowflake, Redshift, Azure Synapse, Google BigQuery et Databricks Delta Lake. Cela permet à plateforme d'extraire des données résumées d'un entrepôt de données cloud vers n'importe quelle application ou point d'extrémité analytique, ce qui permet de mieux comprendre l'efficacité de la charge, la consommation de calcul, les tendances en matière de volume de données, etc.
FAQ supplémentaires
1. Quel est l'impact du choix entre ETL et ELT sur la confidentialité des données et la conformité ?
Dans le contexte de la confidentialité des données et de la conformité, les organisations qui utilisent l'ETL devraient se concentrer sur la mise en œuvre de mesures robustes de rédaction et de cryptage au cours du processus de transformation. Il est essentiel de définir et de respecter les normes de conformité telles que HIPAA, CCPA ou GDPR, en veillant à ce que les données sensibles soient traitées en toute sécurité. Pour l'ELT, l'accent doit être mis sur le cryptage et la protection des données une fois qu'elles sont chargées dans l'entrepôt, compte tenu de l'exposition potentielle de toutes les données. Il est essentiel d'établir des politiques complètes de gouvernance des données pour atténuer les risques liés à la protection de la vie privée dans les processus d'ETL et d'ELT.
2. Quelles sont les principales différences en termes de compétences requises pour la mise en œuvre des solutions ETL et ELT ?
Les compétences requises pour l'ETL impliquent principalement une expertise dans la transformation des données, la gestion des bases de données et la connaissance des outils ETL. D'autre part, l'ELT exige des compétences dans la gestion des lacs de données, des entrepôts de données basés sur cloud et la compréhension des technologies de serveur modernes cloud . Les organisations qui optent pour l'ELT devraient envisager d'engager des experts qui connaissent les plateformes cloud comme Amazon Redshift, Snowflake ou Microsoft Azure. Alors que l'expertise ETL est largement répandue parmi les développeurs en raison de sa présence de longue date, l'ELT peut nécessiter un ensemble de compétences plus spécialisées, ce qui a un impact sur les coûts initiaux mais peut potentiellement conduire à une plus grande efficacité.
3. Comment les organisations doivent-elles choisir entre l'ETL et l'ELT en fonction des caractéristiques de leurs données ?
Pour choisir entre l'ETL et l'ELT en fonction des caractéristiques des données, les entreprises doivent évaluer des facteurs tels que le volume de données, les besoins de traitement en temps réel et la nature du système de données cible. L'ETL est préférable pour les organisations dont les ensembles de données sont plus petits, qui n'ont pas besoin de données en temps réel et qui utilisent un entrepôt de données sur site ou SQL. L'ELT convient aux scénarios dans lesquels la capture de toutes les données structurées et non structurées, le traitement en temps réel et l'entreposage de données basé sur cloud sont des priorités. La compréhension des cas d'utilisation spécifiques des données, des exigences d'évolutivité et des préférences en matière de vitesse de traitement guidera les organisations vers le choix le plus approprié entre l'ETL et l'ELT.
