Data Mesh vs. Data Fabric : La confusion continue

Photo de Michael Nixon
5 minutes de lecture

Au cours des derniers mois, Gartner a donné le coup d'envoi de sa série de sommets sur les données et l'analyse 2022, d'abord à Londres et plus récemment à Orlando, en Floride. L'une des conclusions de ces événements est qu'il y a eu une augmentation notable des messages des fournisseurs et des discussions de Gartner concernant le cadre de la structure de données de Gartner.

À moins que vous ne fassiez pas partie de la communauté de la gestion des données, de l'analyse et de l'informatique ou que vous ayez fait l'autruche, la structure de données de Gartner est largement considérée comme un cadre de décentralisation concurrent du cadre de décentralisation de la maille de données fondé et avancé par Zhamak Dehghani (aujourd'hui anciennement chez ThoughtWorks).

A retenir

Il n'y a rien d'anormal à ce que les messages changent, c'est normal et cela arrive tout le temps. Ce qui est plus intéressant, c'est le niveau de confusion qui continue d'augmenter lorsqu'il s'agit de comprendre les différences entre les approches data mesh et data fabric. Lorsque j'ai abordé ce sujet avec les analystes de Gartner lors des événements du Gartner Data and Analytics Summit, ils ont reconnu l'ampleur du battage médiatique et des discussions autour du data fabric et du data mesh. Selon les représentants de Gartner, "ils répondent à plus de questions que jamais sur le data mesh par rapport au data fabric". En même temps, ils ont affirmé que "le maillage de données et le tissu de données peuvent coexister, ils ne s'excluent pas l'un l'autre".

Pourtant, Gartner a une opinion contradictoire sur le maillage de données, comme le montre son dernier cycle de la mode pour la gestion des données (2022), dans lequel le maillage de données est considéré comme " obsolète avant le plateau " [aparté : vous êtes pardonné si vous trouvez cette action de Gartner égoïste]. Ce que je retiens des discussions avec les analystes, c'est que Gartner a qualifié le maillage de données d'"obsolète" non pas parce qu'il pense qu'il va disparaître, mais parce qu'il pense que le maillage de données va être absorbé dans un cadre de tissu de données, étant donné qu'il affirme que le tissu de données est l'approche la plus complète et la plus agrégée en matière de gouvernance des données et de gestion des données de référence. À mon avis, cette affirmation doit être analysée attentivement étant donné que le livre de plus de 340 pages de Dehghani, Data Mesh, Delivering Data-Driven Value at Scale (qui explique le maillage de données), consacre un chapitre entier au principe de la gouvernance informatique fédérée. Dans ce livre, la gouvernance est effectivement prise en compte dans le maillage des données, mais pas sous la forme d'un modèle centralisé.

Néanmoins, avec son document intitulé Data Mesh and Data Fabric the Same or Different ? (juin 2022, G00769853), Gartner tente de répondre à la confusion croissante, apparemment dirigée vers eux par les architectes d'entreprise et les responsables des données et de l'analyse. Le Gartner exprime une position (voir figure 1) selon laquelle les approches data mesh et data fabric partagent le même objectif d'accès facile aux données, mais data fabric fournit "un apprentissage et une évaluation continus à l'aide de métadonnées", tandis qu'avec data mesh, "la curiosité et l'exhaustivité des PME déterminent le succès ou l'échec". Gartner indique en outre dans le document que "au premier semestre 2022, moins de 1,5 % du marché mondial des technologies de l'information aura une expérience directe de l'une ou l'autre de ces approches. On s'attend à de grandes variations en termes de pratique et de livraison au cours des 3 à 5 prochaines années".

Image extraite de Data Mesh et Data Fabric de Gartner : identiques ou différents ?
Figure 1. Image extraite du document Data Mesh and Data Fabric the Same or Different ? de Gartner.

Il faut donc croire que tout le monde parle de maillage de données et de tissu de données, mais que personne ne le fait ?
Il y a de quoi se faire exploser la tête.

La raison la plus probable du faible niveau d'expérience de 1,5 % est que, quel que soit le cadre que vous souhaitez suivre, maillage de données ou tissu de données, il est difficile à mettre en œuvre et n'est certainement pas un produit prêt à l'emploi que l'on peut acheter, comme le comprennent la plupart des partisans (et des détracteurs) du maillage de données.

Intégration fédérée : La clé pour obtenir un Data Mesh ou Data Fabric

Une autre observation du récent Gartner Data and Analytics Summit à Orlando, c'est qu'il y a eu relativement plus de positionnement de technologies destinées à la fois à l'informatique et aux entreprises, plutôt qu'à l'informatique seule. On peut raisonnablement supposer que l'engouement pour le maillage des données y est également pour quelque chose. La propriété des données par les entreprises est l'un des quatre grands principes du concept de maillage des données (les trois autres étant : les données en tant que produit, le libre-service et la gouvernance informatique fédérée).

Ces principes sont faciles à énoncer, mais difficiles à mettre en œuvre entièrement par le biais d'un seul produit.

C'est pourquoi, chez SnapLogic, nous avons adopté un modèle fédéré en concevant des expériences spécifiques pour les informaticiens, les utilisateurs professionnels et les professionnels des données, tout en permettant une séparation logique des domaines lorsque cela est nécessaire. Par exemple, avec chaque instance SnapLogic plateforme , vous pouvez créer des espaces de travail, que nous appelons Orgs. Chaque Org dispose d'une séparation logique : les équipes commerciales peuvent avoir leur propre Org, le service informatique peut avoir un Org, etc. Ensuite, tous les Orgs, bien que distribués, peuvent être surveillés et gérés au niveau mondial.

Nous utilisons une approche visuelle et graphique du SQL déclaratif. Nous y ajoutons l'intégration assistée par l'IA qui effectue des recommandations pour les étapes suivantes lors de la création d'un flux de données ou d'un pipeline de processus d'entreprise. Ensemble, ces capacités simplifient considérablement les intégrations pour tous. Même nos utilisateurs les plus expérimentés indiquent qu'ils économisent jusqu'à 50 à 60 % de leur temps lors de la construction de pipelines en utilisant notre assistant d'intégration Iris alimenté par l'IA, par rapport à ceux qui ne l'utilisent pas.

Les utilisateurs de SnapLogic gagnent encore plus de temps par rapport au codage manuel. Cela rend possible le libre-service à grande échelle. Dans nos plus grandes installations, des centaines, voire des milliers de personnes réalisent leurs propres intégrations.

Nous combinons également l'intégration de données, l'intégration d'application à application et le développement/gestion d'API (APIM) en un seul site plateforme.

Vous souhaitez une séparation complète des équipes et une décentralisation totale ? Vous voulez partager des produits de données ?

Les API seront essentielles pour y parvenir et le fait de proposer APIM dans le cadre de l'expérience d'intégration de SnapLogic vous facilitera la vie.

Nous préférons dissiper la confusion et ne pas débattre d'une approche par rapport à l'autre, mais plutôt vous rapprocher d'un cadre de maillage de données et de tissu de données - si c'est la direction vers laquelle vous vous dirigez. De notre point de vue, vous voulez de l'agilité et de l'accélération commerciale, à grande échelle, mais vous pouvez vous passer de la complexité folle qui accompagne les approches modernes des données plateforme d'aujourd'hui.

Pour reprendre les termes de notre PDG visionnaire, Gauarv Dhillon, "les plateformes de données modernes se construisent, elles ne s'achètent pas".

Découvrez par vous-même le leader de l'intégration en libre-service plateforme en commençant votre essai gratuit de 30 jours.

Photo de Michael Nixon
Vice-président de Cloud Data Marketing chez SnapLogic
Blog Data Mesh vs. Data Fabric

Nous recrutons !

Découvrez votre prochaine grande opportunité de carrière.