Was ist ein Datennetz?
Data Mesh ist ein Rahmenwerk für die Datenverwaltung in Unternehmen, das definiert, wie geschäftsbereichsspezifische Daten so verwaltet werden können, dass die Geschäftsbereiche ihre Daten selbst verwalten und nutzen können. Es befähigt bereichsspezifische Datenproduzenten und -konsumenten, Datenpipelines zu sammeln, zu speichern, zu analysieren und zu verwalten, ohne dass ein zwischengeschaltetes Datenverwaltungsteam erforderlich ist.
Die Datenvernetzung hat ihren Ursprung in der verteilten Datenverarbeitung, bei der Softwarekomponenten von mehreren Computern gemeinsam genutzt werden, die als System zusammenarbeiten. Bei der Datenvernetzung ist das Eigentum an den Daten auf verschiedene Geschäftsbereiche verteilt, und jeder Bereich ist für die Erstellung seiner Datenprodukte verantwortlich. Data Mesh ermöglicht auch eine einfachere Kontextualisierung von Daten, um tiefere Einblicke zu gewinnen, und erleichtert gleichzeitig die Zusammenarbeit zwischen den Eigentümern der Bereiche, um Lösungen zu schaffen, die auf spezifische Geschäftsanforderungen zugeschnitten sind.
Wie wird das Datengeflecht definiert?
Data Mesh ist ein Architekturkonzept für Datenplattformen zur Implementierung einer dezentralen, verteilten Datenanalyse- und Datenaustauscharchitektur.
"Data Mesh ist ein dezentraler soziotechnischer Ansatz, um analytische Daten in komplexen und großen Umgebungen zu teilen, darauf zuzugreifen und sie zu verwalten - innerhalb und zwischen Umgebungen."
Aus: "Data Mesh - Delivering Data-Driven Value at Scale" von Zhamak Dehghani, 2022
Wie funktioniert die Datenvernetzung?
Bei der Architektur des Datennetzes werden die Informationen in mehreren Quellen gespeichert, und ein Datenbildungsdienst stellt die Datenprodukte in Form von genehmigten Tabellen zur Verfügung. Der Dateneigentümer kann auch APIs erstellen und bereitstellen, die von anderen Benutzern genutzt werden können. Data Mesh verfügt auch über einen Datenkatalog, der Metadaten wie Tabellennamen, Spalten und benutzerdefinierte Tags speichert.
Was sind die Grundsätze der Datenvernetzung?
Zu den Grundpfeilern von Data Mesh gehören vier Prinzipien: Dezentralisierung durch Domäneneigentum, Daten als Produkt, selbstverwaltete Dateninfrastruktur und föderierte Rechenverwaltung. Diese vier Prinzipien dienen der Beschreibung von Data Mesh und sind wichtig, um den Wert von Daten und die Flexibilität einer modernen Architektur zu erreichen, die Unternehmen bei ihrem Wachstum anstreben.
Grundsatz Nr. 1 des Datennetzes: Eigentum der Domäne
Dies beschreibt die Dezentralisierung des Eigentums an Daten, d. h. der Verantwortung für die Daten, auf die Geschäftsbereiche, die ihnen am nächsten sind. Im Grunde genommen sind die Geschäftsbereiche Eigentümer ihrer Daten und nicht eine zentralisierte IT-Funktion. Die IT kann jedoch eine Rolle dabei spielen, die Geschäftsbereiche dabei zu unterstützen, die Leistungsfähigkeit ihrer Daten zu nutzen und aus ihnen zu schöpfen. Die Domäneneigentümerschaft ist für Unternehmen entscheidend, um Skaleneffekte zu erzielen und Engpässe durch eine zentralisierte Datenflussstruktur zu vermeiden.
Grundsatz Nr. 2 der Datenvernetzung: Daten als Produkt
Bei einer dezentralen, domäneneigenen (oder domänenorientierten) Struktur werden Daten mit anderen Nutzern und Verbrauchern, die an den Daten interessiert sind, gemeinsam genutzt. Beispiele für Daten als Produkt können ein Datensatz für Analysen oder Daten für einen bereitgestellten Dienst sein. Die Eigentümer der Daten können die Daten so weitergeben, wie sie es für das gewünschte Geschäftsergebnis für richtig halten. Daten als Produkt sollten die Mindesteigenschaften auffindbar, adressierbar, verständlich, vertrauenswürdig, wahrheitsgemäß und sicher aufweisen.
Grundsatz Nr. 3 des Datennetzes: Datenplattform zur Selbstbedienung
Damit Geschäftsbereiche Daten als Produkt erkennen und mit anderen teilen können, müssen sie dazu befähigt werden. Das Ziel der Selbstbedienung besteht darin, die Reibungsverluste auf dem gesamten Weg der Daten von der Quelle bis zur Nutzung zu beseitigen. Geschäftsbereiche oder einzelne Dateneigentümer sind dann in der Lage, die Daten zu entwickeln und zu verbessern und die Parameter für die gemeinsame Nutzung der Daten festzulegen. Funktionen der Plattforminfrastruktur und automatisierte Governance-Richtlinien machen die Selbstbedienung möglich.
Grundsatz Nr. 4 des Datennetzes: föderale Verwaltung von Computern
Ein weit gefasster und umfassender Grundsatz, der das Betriebsmodell für die Datenverwaltung auf der Grundlage von föderierten Entscheidungsfindungs-, Rechenschafts-, Sicherheits-, Rechts- und Konformitätsrichtlinien und mehr festlegt. Zu den Beweggründen für dieses Prinzip gehört der Wunsch, einen höheren Wert aus den aggregierten Daten zu ziehen und möglichen unerwünschten Folgen einer bereichsorientierten, dezentralisierten Infrastruktur entgegenzuwirken.
Was sind die Vorteile der Datenvernetzung?
- Dezentralisierung des Dateneigentums und der Datenverarbeitung, um die Agilität der Geschäftsbereiche zu beschleunigen und relevante Entscheidungen zu treffen
- Fachteams erhalten die Unabhängigkeit, den für ihre Bedürfnisse am besten geeigneten Datentechnologie-Stack zu wählen
- Schaffung von Transparenz in funktionsübergreifenden Teams durch Verringerung der Wahrscheinlichkeit isolierter Datenteams
- Erleichterung der Datenhoheit und der Datenresidenz zur Gewährleistung der Übereinstimmung mit den Data-Governance-Vorschriften
Häufig gestellte Fragen zur Datenvernetzung
1. Wie lassen sich Herausforderungen in Bezug auf Datenqualität, -konsistenz und -standardisierung in dezentralen Bereichen bewältigen?
Im Zusammenhang mit der Datenverflechtung bedeutet die Sicherstellung von Datenqualität, -konsistenz und -standardisierung über dezentralisierte Domänen hinweg die Implementierung solider Data-Governance-Verfahren. Dazu gehören die Definition klarer Metadatenstandards, Datenvalidierungsprozesse und die Zusammenarbeit zwischen den Domäneneigentümern, um gemeinsame Datenqualitätsmetriken festzulegen und einzuhalten. Auch wenn das Dateneigentum verteilt ist, können kollaborative Frameworks und automatisierte Tools eingesetzt werden, um standardisierte Datenpraktiken durchzusetzen und sicherzustellen, dass die Daten korrekt und vertrauenswürdig bleiben und mit den Unternehmensstandards übereinstimmen.
2. Welche spezifischen Werkzeuge oder Technologien ergänzen die Implementierung einer Datengitterarchitektur?
Die praktische Umsetzung einer Datennetzarchitektur erfordert häufig eine Kombination verschiedener Werkzeuge und Technologien zur Unterstützung unterschiedlicher Prinzipien. Für die Domäneneigentümerschaft sind Tools, die eine effiziente Datenkatalogisierung, Metadatenverwaltung und Zugriffskontrolle ermöglichen, entscheidend. Self-Service-Datenplattformen können Datenintegrationstools, Cloud-Dienste und Automatisierungslösungen nutzen, um Geschäftsbereiche zu unterstützen. Föderierte Computer-Governance kann den Einsatz von Tools für die Richtlinienverwaltung, Blockchain für die Rechenschaftspflicht und Rahmenwerke für die Einhaltung von Gesetzen und Vorschriften beinhalten. Das spezifische Tooling kann je nach organisatorischen Anforderungen, Technologie-Stacks und der Art der Datenprodukte in den einzelnen Bereichen variieren.
3. Gibt es nennenswerte Herausforderungen oder potenzielle Nachteile, die mit der Einführung eines Datenvernetzungskonzepts verbunden sind?
Beim Übergang zu einem dezentralisierten Modell können potenzielle Herausforderungen auftreten. Die Bewältigung kultureller Veränderungen, die Sicherstellung einer konsistenten Übernahme von Datenstandards in allen Bereichen und der Umgang mit potenziellen Datensicherheitsbedenken sind entscheidende Herausforderungen. Darüber hinaus kann es für Unternehmen schwierig sein, föderierte Entscheidungsprozesse abzustimmen, rechtliche und Compliance-Anforderungen zu erfüllen und effektive Kommunikationskanäle zwischen dezentralisierten Teams einzurichten. Für Unternehmen, die eine Datenvernetzung in Erwägung ziehen, ist es unerlässlich, gründliche Bewertungen durchzuführen, in das Änderungsmanagement zu investieren und Herausforderungen während des gesamten Implementierungsprozesses zu antizipieren und anzugehen.
