Les données sont un atout important pour toutes les organisations et permettent aux dirigeants de prendre des décisions en toute connaissance de cause. Cependant, elles sont également devenues un obstacle majeur pour ceux qui analysent la santé de leur organisation et recherchent des opportunités d'amélioration. Dans la première partie de ma série en deux parties, je détaillerai comment SnapLogic a surmonté ces obstacles pour devenir orienté données grâce au lac de données cloud et à l'analyse en libre-service.
Barrières aux données
L'extraction d'informations à partir de données peut facilement dérailler en raison de multiples facteurs, dont les suivants :
- Pas de source unique de vérité : les données sont cloisonnées, enfouies dans diverses sources et dans différents services.
- Absence de normalisation : Les données existent sous de nombreuses formes, telles que structurées, semi-structurées et non structurées.
- Données non nettoyées : Les données doivent être fiables et nécessitent donc un travail supplémentaire tel que l'élimination des doublons, la recherche des valeurs manquantes, etc. afin de les rendre de meilleure qualité.
- Absence de versionnement des données : Les données peuvent croître de façon exponentielle et il est difficile d'en assurer le suivi.
Les organisations ont également été confrontées à divers défis, tels que des processus internes rigides, l'adoption de technologies anciennes, l'absence de collaboration entre les services pour le partage des données, le tout se traduisant par une approche manuelle et sujette aux erreurs.
Les facteurs ci-dessus, combinés à un manque d'initiatives de transformation numérique (cloud adoption, changement de culture, processus agile, etc.) peuvent empêcher les organisations de tirer des informations significatives à 360 degrés. Dans l'économie actuelle, de mauvaises données peuvent avoir un impact sur l'expérience client, la croissance du chiffre d'affaires et du résultat, augmenter le taux de désabonnement des clients et empêcher des opportunités potentielles.
Chez SnapLogic, le changement passe d'abord par les données
Nous avions des problèmes similaires chez SnapLogic - nous prenions des décisions basées sur des données provenant de systèmes disparates et d'ensembles de données cloisonnés. Les efforts déployés pour obtenir des informations étaient loin d'être idéaux, car ils nécessitaient de nombreuses heures pour assembler manuellement des données orientées vers les lots. Des collègues de différents services, dont moi-même, établissaient des rapports périodiques et ponctuels nécessitant des données spécifiques qui n'étaient pas toujours facilement disponibles. Dans certains cas, nous n'avions pas de vision globale de la manière dont nos clients utilisaient nos produits et nous ne comprenions pas non plus le sentiment des clients afin d'innover dans notre portefeuille.
Après avoir créé un nombre infini de rapports mais généré très peu d'informations, nous avons réalisé que nous avions besoin d'un cadre commun unifié pour surmonter nos obstacles à l'accès aux données, afin que nous puissions obtenir des informations exploitables et prendre des décisions basées sur les données.
SnapLogic investit dans un lac de données
Sur la base de mes observations antérieures concernant les limites de nos données, SnapLogic a cherché à devenir plus axé sur les données en investissant dans une initiative d'analyse de lac de données cloud . J'ai été le fer de lance de cette initiative et j'ai fait appel aux parties prenantes pour comprendre leurs besoins commerciaux, puis j'ai créé un cadre de données qui répondrait à ces besoins. Après des semaines passées à peaufiner les exigences de l'entreprise et à formuler notre stratégie de données, nous avons construit une solution de lac de données cloud de plusieurs téraoctets afin de fournir une source unique de vérité. L'objectif était de permettre aux principaux utilisateurs internes d'effectuer des analyses en libre-service afin de découvrir de nouvelles opportunités, d'identifier les lacunes, etc. Nous avons basé notre cadre de données sur les besoins de SnapLogic et sur ce que nous voulions accomplir. Bien que nos besoins nous soient propres, toutes les entreprises ont besoin d'un ensemble de principes pour un cadre de données commun afin d'être guidées par les données.
Vous trouverez ci-dessous une série d'étapes que SnapLogic a suivies pour définir sa stratégie de lac de données et obtenir l'adhésion des parties prenantes. Ces étapes sont applicables à toute entreprise qui entreprend une initiative de lac de données.
1. Identifier le défi
Il faut d'abord prendre conscience et accepter le fait qu'il existe un obstacle à l'obtention des bonnes données, ce qui signifie que les opérations quotidiennes sont inefficaces et qu'il n'est pas possible de prendre des décisions clés. Une fois les problèmes de données identifiés, l'équipe dirigeante doit se réunir pour définir des initiatives clés en matière de données qui permettent d'atteindre les objectifs commerciaux de l'organisation. Ces types d'initiatives peuvent être poussés par des catalyseurs ou des changements organisationnels, y compris des changements de culture et de leadership, des changements opérationnels, l'amélioration de la collaboration entre les équipes et des processus agiles. Nous avons également procédé à quelques changements opérationnels de base, mais nécessaires, sur la manière dont les données peuvent être mises à la disposition des différentes équipes, notamment l'ingénierie, les ventes, la finance et le marketing.
2. Créer une vision pour le lac de données
Une analyse et une recherche plus approfondies ont été effectuées pour comprendre nos défis commerciaux. La création d'une vision de la stratégie de données de SnapLogic a été essentielle pour nous aider à nous concentrer sur un ensemble d'objectifs commerciaux importants :
- Fournir une visibilité à l'échelle de l'entreprise
- Influencer la feuille de route du produit, la tarification et l'investissement
- Prendre des décisions éclairées sur la base de données et non d'opinions
- Développer ou découvrir des opportunités de vente, augmentant ainsi les revenus
- Réduire le taux d'attrition des clients en étant proactif
- Comprendre le parcours du client et identifier les lacunes potentielles
- Améliorer le positionnement des produits
Des objectifs ont ensuite été définis pour expliquer pourquoi la construction d'un lac de données est importante et comment il peut bénéficier aux différents départements. Chez SnapLogic, nous avons clairement défini les données que nous avions besoin de comprendre et de visualiser, y compris les points de données pour peindre le parcours du client, pour mesurer la consommation ou l'utilisation de l'utilisateur, pour en savoir plus sur les différents personas d'utilisateurs, pour corréler l'utilisation avec les industries, les zones géographiques et les tailles, etc. En mettant en correspondance ces types d'informations avec les différentes lignes d'activité (LOB) de l'organisation, nous avons pu bénéficier des données qui ont toujours été disponibles, mais hors de portée.
3. Obtenir l'approbation de l'exécutif
L'obtention d'un retour d'information sur notre vision de la part de nos champions et des parties prenantes nous a aidés très tôt. Écouter les commentaires signifie souvent plusieurs itérations, mais cela en vaut la peine pour affiner la vision et la stratégie en matière de données. En comprenant les objectifs commerciaux des parties prenantes, j'ai créé une vision commune et j'ai expliqué comment notre stratégie pouvait les aider à réaliser divers avantages commerciaux, y compris l'analyse prédictive.
Une fois les résultats obtenus, j'ai présenté les sujets suivants à l'équipe de direction :
- Vision et stratégie
- Limites des données actuelles et impact sur la prise de décision
- Les moteurs de l'activité
- Objectifs
- Avantages pour les lignes d'activité
- Proposition d'architecture et plan
- Coût et budget
4. Collaborer avec les équipes pour obtenir les bons indicateurs de performance clés (KPI)
Le plan d'exécution est essentiel une fois que l'initiative d'analyse du lac de données est approuvée. En travaillant avec des responsables de plusieurs départements, j'ai pu découvrir les mesures essentielles dont ils avaient besoin pour ce projet. Non seulement j'ai compris les problèmes et les objectifs de ces responsables, mais j'ai également découvert de nombreux indicateurs clés de performance (ICP) que nous n'avions pas identifiés dans notre plan d'exécution initial. Je pense que le fait de travailler en étroite collaboration avec chaque équipe a contribué à notre succès, et j'ai donc assuré un suivi permanent de nos progrès pour qu'ils sachent que nous étions responsables.
Une préparation approfondie a également été la clé de notre succès. J'ai dressé une liste de questions à l'intention de nos parties prenantes afin qu'elles fournissent les bonnes informations. Voici quelques questions que je leur ai posées :
- Que voulez-vous savoir sur vos clients ? À quelle fréquence ?
- Que souhaitez-vous savoir sur les utilisateurs individuels, les groupes spécifiques et l'ensemble de la clientèle ?
- Comment mesurez-vous la réussite de votre équipe ? Quels sont les indicateurs clés que vous utilisez pour mesurer la réussite de votre équipe ?
- Quel type de valeurs aberrantes souhaiteriez-vous voir apparaître ?
Nous avons également observé des tendances et des questions communes, notamment :
- Que faut-il faire pour développer notre activité ?
- Quel est le pourcentage de prospects qui se sont convertis en clients ? Pourquoi les autres ne se sont-ils pas convertis ?
- Comment assurer la rétention ?
- Combien de dossiers d'assistance sont ouverts et résolus par client ?
- Quel est le coût moyen d'acquisition d'un client (CAC) ?
Comprendre les indicateurs de performance clés autour de ces questions importantes, en dresser une liste et les classer par ordre de priorité faisaient partie des étapes suivantes. Chez SnapLogic, certains des indicateurs clés de performance consistaient à comprendre les schémas d'utilisation des clients, l'adoption, l'augmentation ou la diminution d'une tendance, et à fournir des alertes proactives aux bonnes équipes.
5. Embaucher les bonnes compétences
Lors de la construction et de l'évolution d'un lac de données, il est important de comprendre quelles sont les compétences requises.
Chez SnapLogic, nous avons créé une équipe analytique distincte que je dirige et gère. J'ai soigneusement sélectionné les candidats pour m'assurer que leurs compétences correspondaient à notre vision et à nos besoins. Notre équipe d'analyse est composée d'un architecte expérimenté qui a construit de nombreux lacs de données d'entreprise dans le passé, d'une poignée de développeurs pour construire des pipelines d'intégration et les workflows dans la plate-forme d'intégration intelligente SnapLogic (IIP), d'un service d'assurance qualité pour valider les données et d'un expert Tableau pour créer des rapports.
6. Itérer pour affiner notre lac de données
Pour que le lac de données soit un succès, il devra peut-être passer par plusieurs itérations avant d'être mis à la disposition de tous les employés. L'objectif de notre entreprise était de disposer d'une architecture de base qui puisse être évolutive, flexible, sécurisée et enfichable afin que les outils puissent être facilement remplacés à l'avenir. Nous avons utilisé un certain nombre de bases de données et d'applications pour créer le lac de données.
Par exemple, nous avons utilisé Snaplogic IIP pour capturer et conformer des données de plusieurs téraoctets dans AWS S3, SnapLogic eXtreme pour traiter des ensembles de données volumineux, Snowflake pour stocker les données traitées à l'aide de SnapLogic, et Tableau pour visualiser les rapports.
Une fois ces applications mises en place et définies, nous avons commencé à capturer les indicateurs de performance clés et d'autres types de données demandés par les parties prenantes. Nous avons travaillé avec eux et d'autres membres de l'équipe pour identifier les applications où résidaient les données, en excluant les données sensibles spécifiques pour respecter les normes de sécurité. L'équipe analytique a ensuite construit des pipelines SnapLogic pour ingérer les données de ces sources dans le lac de données S3, les traiter à l'aide de SnapLogic eXtreme en fonction de la logique métier, stocker l'ensemble de schémas en étoile résultant (faits, dimensions) dans Snowflake, et fournir des informations dans Tableau. Ces pipelines ont été automatisés pour inclure la capture des données de changement.
L'équipe DevOps a ensuite créé des profils d'accès afin que les personnes appropriées aient accès à ces ensembles de données.
Un effort continu est nécessaire pour que les utilisateurs professionnels s'approprient leurs données et les améliorent, afin qu'elles soient faciles à ingérer et à traiter dans le lac de données. Diverses lacunes ont également été identifiées au cours du processus de construction du lac de données (qualité des données, ensemble de données manquantes, etc.), et les LOB respectifs y ont remédié. Les informations obtenues ont été partagées avec les dirigeants et les différentes équipes afin d'obtenir un premier retour d'information. Nous avons ensuite itéré et amélioré le lac de données sur la base des commentaires obtenus.
Résultats
Je suis fier de dire que la culture d'innovation de SnapLogic, son ouverture au changement et la transparence de ses décisions nous ont aidés à réaliser le plein potentiel de nos données. Les bons KPI ont été construits et visualisés à l'aide d'un lac de données automatisé cloud et d'une solution en libre-service. Grâce au lac de données, nous avons obtenu une connectivité à l'échelle de l'entreprise et une source unique de vérité, nous avons relié les éléments manquants et obtenu la transparence sur l'utilisation des clients, les modèles et leurs problèmes. Le lac de données nous a également permis de prendre des mesures significatives à partir d'informations obtenues quasiment en temps réel, ce qui a permis d'accroître la satisfaction des clients, d'améliorer les prévisions et d'augmenter les recettes.
Dans la deuxième partie de cette série de blogs, je partagerai quelques bonnes pratiques sur l'architecture des lacs de données et le processus de construction d'un lac de données. En attendant, lisez-en plus sur la manière d'obtenir des informations à partir des lacs de données en utilisant les mêmes technologies que celles que nous avons utilisées.
