McKinsey prévoit que d'ici 2025, presque tous les employés devront exploiter des données dans le cadre de leur travail. Que fait votre organisation pour se préparer à ce niveau de demande de données ?
Commencez par un pipeline de données. En construisant un pipeline de données, vous pouvez connecter plusieurs sources de données qui peuvent déplacer des données entre ces sources tout en gardant les données utilisées par votre équipe facilement disponibles, exactes, pertinentes et à jour.
Identifier les sources de données
La première étape de la construction d'un pipeline de données consiste à identifier les sources de données. Quelles sont les données qui doivent être incluses dans le pipeline ? Où ces données se trouvent-elles actuellement ? Identifiez vos sources.
Dressez la liste de toutes les sources de données potentielles qui pourraient être incluses dans le pipeline. Ces sources de données peuvent être des bases de données, des API web et des fichiers plats. Toute source de données que vous utilisez déjà ou que vous prévoyez d'utiliser doit être incluse dans cette liste.
Examinez ensuite chaque source et évaluez son exactitude et sa valeur pour le pipeline. Il peut y avoir des sources qui sont utilisées actuellement mais qui ne seront plus nécessaires une fois que vous aurez construit un pipeline, ou des sources qui ont été utilisées ces dernières années mais qui ne sont plus pertinentes par rapport aux objectifs de votre organisation. Notez comment chaque source de données s'inscrit dans vos objectifs actuels et futurs, et supprimez les sources de données qui ne sont pas nécessaires.
Mise en place d'un plan de traitement des données
Une fois les sources de données identifiées, l'étape suivante consiste à établir un plan de traitement des données. Quelles transformations, nettoyages et/ou formatages de données sont nécessaires pour rendre les données utilisables dans le cadre de vos objectifs particuliers ? Votre plan de traitement des données doit décrire chaque étape à laquelle vos données doivent être soumises pour être utiles.
En fonction des sources de données, le plan peut nécessiter différents niveaux de traitement et de nettoyage. Si les données proviennent d'une base de données, elles peuvent ne nécessiter qu'un nettoyage minimal puisqu'elles sont déjà structurées. En revanche, si les données proviennent d'un fichier plat, elles peuvent nécessiter davantage de traitement et de nettoyage pour s'assurer qu'elles sont dans le bon format et utilisables pour leur objectif.
Étapes du traitement des données :
- La dépersonnalisation est un processus qui consiste à supprimer les informations d'identification des données afin que les personnes ne puissent pas être reconnues sur la base de ces données. Il peut s'agir d'informations telles que des numéros de téléphone ou des adresses personnelles.
- La transformation des données permet de transformer les données brutes dans un format et une structure plus utiles pour l'analyse et l'établissement de rapports (par exemple, en agrégeant des données, en joignant des ensembles de données ou en convertissant des types de données).
- Le nettoyage des données consiste à supprimer ou à modifier les données incorrectes, incomplètes, non pertinentes ou dupliquées (par exemple, en supprimant les valeurs aberrantes, en complétant les valeurs manquantes ou en normalisant les données).
- La validation des données permet de vérifier que les données sont exactes et complètes (par exemple, les adresses électroniques sont réelles ou les numéros de téléphone sont complets).
- L'enrichissement des données consiste à ajouter des données supplémentaires à des ensembles de données existants afin de les rendre plus utiles (par exemple, enrichir le dossier d'un client potentiel avec des informations supplémentaires, telles que la taille de son organisation).
- La sécurité des données protège les données contre tout accès non autorisé (par exemple, elle peut inclure des fonctions telles que le cryptage, le masquage des données ou l'audit).
Configuration de la sortie
Une fois le plan de traitement des données mis en place, vous devez déterminer à quoi ressembleront vos données de sortie. Les données seront-elles transférées dans un entrepôt de données, un lac de données ou autre chose (comme une maison de lac) ?
L'entrepôt de données est un référentiel de données structurées qui est utilisé pour l'analyse et la production de rapports. Un lac de données est un référentiel de données non structurées et semi-structurées qui est utilisé pour l'exploration de données, l'apprentissage automatique et d'autres types de tâches analytiques.
Selon le cas d'utilisation, un entrepôt ou un lac est généralement utilisé comme point de sortie du pipeline de données, mais pas toujours.
Concevoir l'architecture du système
C'est à ce stade que l'on relie tous les éléments. Une fois que vous savez comment les données doivent être utilisées et où elles doivent aller, vous pouvez décider de la meilleure façon de construire le pipeline. Quels sont les services et applications nécessaires au traitement et à l'utilisation des données ? Cette étape est cruciale dans la construction d'un pipeline de données et nécessite une planification minutieuse.
L'architecture doit tenir compte des sources de données, du plan de traitement, des résultats et de tous les scénarios inattendus, tels que les pics imprévus de la charge de données ou du trafic.
L'architecture de votre pipeline comprendra probablement
- Outils d'intégration des données pour connecter plusieurs sources de données et déplacer les données d'un système à l'autre (par exemple, passerelles API, outils ETL ou outils de messagerie).
- Outils de traitement des données pour aider à traiter et à nettoyer les données pour l'analyse (par exemple, outils de nettoyage, de validation ou d'analyse des données).
- Outils d'analyse des données pour analyser les données et produire des informations significatives (par exemple, analyse prédictive, apprentissage automatique ou outils de visualisation qui aident à donner un sens à l'information).
- Outils de stockage de données pour stocker, gérer et protéger les données (par exemple, lacs de données, entrepôts de données ou stockage rapproché)
Mettre en place une gouvernance des données
Essentielle dans tout pipeline, la gouvernance des données est le plan de gestion et de maintenance de votre pipeline de données. Qui aura accès aux données ? Comment les données seront-elles sécurisées ? Quelles politiques seront mises en place pour garantir la confidentialité des données ?
Les besoins de chaque organisation en matière de gouvernance dépendent d'un certain nombre de facteurs, tels que les réglementations régionales relatives à la collecte et à l'utilisation des données et les objectifs de l'organisation. Mais en règle générale, les organisations peuvent s'attendre à devoir mettre en place les éléments suivants :
- Les politiques de contrôle d'accès qui définissent qui peut ou ne peut pas accéder aux données et dans quel but.
- Politiques de cryptage des données pour assurer la sécurité des données en transit et au repos
- Les politiques de conservation des données qui définissent la durée de stockage des données et le moment où elles sont supprimées.
- Les politiques de confidentialité des données qui définissent la manière dont les données sont utilisées et partagées
- les politiques de sécurité des données qui définissent les mesures prises pour protéger les données contre tout accès non autorisé
- Les politiques d'audit qui définissent la manière dont les données sont contrôlées et suivies
Choisir une plate-forme d'intégration
Une fois l'architecture et la gouvernance définies, le pipeline de données peut être configuré et testé. Une fois les tests terminés, le pipeline de données peut être mis en service et faire l'objet d'un suivi pour détecter d'éventuels problèmes. Mais si vous souhaitez mettre en œuvre un pipeline plus rapidement et avec moins de travail, envisagez d'utiliser une intégration plateforme pour la construction réelle de votre pipeline.
Les plateformes d'intégration telles que l'iPaaS de SnapLogic pilotent le processus et servent d'intermédiaire à chaque étape du pipeline de données. Un pipeline de données peut être mis en place rapidement et efficacement car il n'y a pas besoin de codage manuel. SnapLogic utilise une interface de type "glisser-déposer", de sorte que tout le monde peut commencer, quelles que soient ses compétences en matière de codage ou son expérience dans la mise en place de pipelines. L'intégration plateforme offre également des informations en temps réel sur le processus de configuration du pipeline de données, ce qui permet aux équipes d'identifier rapidement les problèmes et de les résoudre.
Découvrez ce que l'iPaaS peut faire pour votre pipeline de données.
