En examinant le paysage de ce qui est considéré aujourd'hui comme la définition d'une pile de données moderne, SnapLogic pose la question suivante : les définitions actuelles sont-elles suffisamment modernes ?
C'est une question importante à poser car, lorsqu'elles conçoivent une architecture de données, les entreprises veulent être tournées vers l'avenir et penser à leurs besoins futurs en matière de données, et pas seulement à ceux d'aujourd'hui.
Par conséquent, si elles ne sont pas suffisamment modernes, les entreprises courent le risque de déployer une solution qui pourrait ne pas répondre à leurs besoins en matière de données dans l'ensemble de l'entreprise, stagner au fil du temps (c'est-à-dire ne pas être à l'épreuve du temps), augmenter la complexité avec davantage d'outils pour compenser, augmenter les coûts et ralentir le temps de rentabilisation des produits de données.
Qu'est-ce qui rend une architecture de données moderne ?
Voici un résumé rapide de ce que l'on trouve généralement lorsqu'on recherche la définition d'une pile de données moderne ou d'une architecture de données moderne. Les architectures de données modernes sont :
- Cloudnatif - hébergé sur cloud pour un déploiement rapide et une évolutivité aisée
- Facilité d'accès - pour qu'un large éventail d'utilisateurs, au-delà de l'informatique ou de l'ingénierie, puisse accéder aux données.
- Axé sur l'intégration des données - toutes les données intégrées sont dirigées vers un entrepôt de données cloud , des données cloud plateforme ou un lac de données.
- Orienté vers le déploiement centralisé - les principaux cas d'utilisation référencés étant liés à l'analyse et à l'intelligence économique.
Bien qu'il s'agisse d'une liste solide, avec un schéma fonctionnel représentatif de l'architecture présenté à la figure 1, elle présente des limites et des risques. Lire la suite.
L'intégration des données en soi n'est pas assez moderne - Combinez l'intégration d'application à application
Pousser les données vers un entrepôt de données cloud (CDW) ou cloud data plateforme, comme BigQuery, Redshift, Snowflake, etc. ou vers un lac de données augmente certainement l'agilité, la souplesse et la capacité à évoluer rapidement pour les charges de travail d'analyse de données. Le problème est que si l'analyse de données est une charge de travail dominante, ce n'est pas la seule. Tous les cas d'utilisation ne sont pas centralisés, en particulier si l'on considère que le maillage des données/la structure des données continue d'être un sujet de discussion brûlant parmi les architectes d'entreprise.
En outre, les charges de travail analytiques, de par leur nature même, sont des charges de post-production et non des charges opérationnelles. Les systèmes de données opérationnelles impliquent des applications qui agissent sur ou partagent des données au niveau de l'enregistrement (par opposition à l'analyse d'ensembles de données) plus proches du temps réel. L'intégration de données en colonnes est bonne pour l'analyse, mais pas aussi bonne pour le partage de données opérationnelles en temps réel, d'application à application. L'intégration basée sur les lignes, qui contourne le CDW, tend à être plus rapide.
Prenons l'exemple de Carrie Craig, directrice des applications d'entreprise chez WD-40 Company : "Nous transmettons nos données CRM directement à notre système ERP via l'intégration d'application à application SnapLogic, car il est plus rapide et plus simple pour nos spécialistes des données d'entreprise d'accéder aux données dont ils ont besoin. Pour nous, c'est un avantage concurrentiel de disposer de données juste à temps pour la prise de décision".
Pour y parvenir, vous devrez ajouter un autre type d'outil d'intégration d'application à application (figure 2, en bas à droite) à votre pile si vous utilisez des outils d'intégration de données tels que Fivetran, Matillion, Informatica ou similaires. Il en résultera une complexité accrue et des coûts potentiellement plus élevés.
Produits de données modernes avec synchronisation bidirectionnelle - sans complication
Dans le même ordre d'idées, si vous êtes une organisation qui produit des données ou un groupe d'analyse qui enrichit des données, une fois que vous avez fait votre travail dans l'entrepôt de données ou le lac de données, vous voudrez peut-être réinjecter le produit de données ou les données enrichies dans un système opérationnel ou une application. Prenons l'exemple d'un cas d'utilisation qui calcule le risque de désabonnement d'un client. Les données clients sont extraites d'un système CRM, comme Hubspot ou Salesforce, puis chargées dans l'entrepôt de données pour effectuer l'analyse du taux de désabonnement ou d'autres enrichissements. Il est intéressant que les données relatives au risque de désabonnement soient ensuite renvoyées vers le système de gestion de la relation client afin d'offrir un accès cohérent et une expérience de visualisation aux cadres et aux commerciaux qui souhaitent obtenir des informations supplémentaires sur les clients. Il s'agit d'une expérience supérieure et plus conviviale pour l'utilisateur que celle qui consiste à accéder au système de gestion de la relation client pour un ensemble de besoins et à devoir ensuite adresser une demande distincte à l'équipe informatique ou à l'équipe chargée de l'analyse des données pour accéder aux informations sur le risque de désabonnement des clients.
Pour mener à bien cette tâche dans le cadre de ce cas d'utilisation, il faudra décharger les données de l'entrepôt de données, puis les charger à nouveau dans le système de gestion de la relation client (CRM), c'est-à-dire procéder à une synchronisation bidirectionnelle ou à un travail d'extraction, de transformation et de chargement (ETR) inverse. L'architecture de données moderne telle qu'illustrée à la figure 1 nécessiterait encore un autre outil, tel que Hightouch, Census ou Hevo, pour effectuer cette opération (figure 2, en haut à droite). En d'autres termes, comme précédemment, ajouter un outil, c'est augmenter la complexité.
Pour être juste, certains outils d'intégration de données ont évolué pour s'adapter aux cas d'utilisation bidirectionnels/ETL inversés. Cependant, vous devrez regarder sous le capot pour comprendre dans quelle mesure la synchronisation bidirectionnelle est prise en charge.
Traitement des données résidentes sur site et sur Cloud sans outil supplémentaire
C'est une chose de dire qu'une pile de données ou une architecture moderne est hébergée sur cloud, mais cela ne signifie pas (ou, à notre avis, ne devrait pas signifier) que les données exploitées doivent se trouver sur cloud. Les sociétés financières modernes, les compagnies d'assurance et les agences gouvernementales, par exemple, ont des besoins variés et peuvent avoir des politiques de sécurité exigeant que les données sensibles restent sur place. Envoyer des données sensibles sur le site cloud pour les manipuler et les renvoyer ensuite dans un référentiel sur site crée un risque pour la sécurité.
Si un outil d'intégration de données hébergé sur cloud ou des données plateforme ont des difficultés à atteindre des environnements sur site, à fonctionner derrière un pare-feu et à exécuter des opérations de données qui doivent rester sur site, un autre outil sera nécessaire (figure 2, en bas à gauche). Cela ajoute encore à la complexité et peut modifier l'expérience d'utilisation.
Une meilleure solution consiste à séparer le contrôle cloud de l'exécution sur site au sein du même outil d'intégration.
Devenez plus moderne, exécutez plus rapidement avec moins de dette technique et de complexité
Dans ce blog, j'ai révélé trois domaines dans lesquels une pile moderne axée sur l'intégration des données ne suffit pas et nécessite des outils supplémentaires, ce qui se traduit par une dette technique accrue et une plus grande complexité.
Lorsque l'on parle d'une pile de données ou d'une architecture moderne, c'est souvent sous l'angle de l'intégration des données. Cette approche est intrinsèquement limitée si l'on considère la portée qu'une pile de données ou une architecture moderne doit avoir pour répondre aux besoins plus larges des entreprises modernes dans l'ensemble de leurs activités.
Pour rendre votre architecture moderne plus moderne, combinez l'intégration d'application à application, la synchronisation bidirectionnelle des données/l'ETL inversé et les capacités d'exécution des données sur site au sein de la même intégration plateforme, plutôt que de les considérer comme des outils individuels dans votre architecture de données. Les avantages sont la réduction de la dette technique, la réduction de la complexité, c'est-à-dire la simplicité, et l'accélération du temps de retour sur investissement des intégrations.
Prenons les commentaires de Geoff Shakespeare, directeur de l'exploitation chez National Broadband Ireland (NBI), une entreprise dont l'initiative ambitieuse est de connecter à large bande une grande partie de l'Irlande rurale : "Après avoir examiné une série de solutions d'intégration, nous avons organisé un test d'éligibilité en demandant aux fournisseurs de créer devant nous, en une matinée, une fonctionnalité capable de rechercher un code postal et de fournir une valeur négative ou positive quant à la possibilité de déployer le haut débit dans ce code postal. SnapLogic a accompli cette tâche de manière impressionnante en deux heures et demie. Le délai de mise sur le marché est d'une importance capitale pour ce projet et SnapLogic nous a aidés à atteindre nos objectifs clés.
La deuxième partie de cette série de blogs est maintenant disponible ! Nous couvrons deux autres domaines importants pour rendre vos données modernes plus modernes.
