Data Fabric - Definizione e panoramica

Che cos'è il data fabric?

Data fabric è una variante di un framework di analisi e gestione dei dati distribuito e decentralizzato, o un modello di progettazione del livello di integrazione dei dati, sostenuto dagli analisti di Gartner. Il data fabric è considerato un framework concorrente del data mesh, sostenuto da Zhamak Dehghani, leader del settore. Il concetto di data fabric, come articolato da Gartner, è un'architettura emergente e un modello di progettazione della gestione dei dati per ottenere pipeline di integrazione dei dati flessibili, riutilizzabili e aumentate, a sostegno di un accesso e di una condivisione dei dati più rapidi e, in alcuni casi, automatizzati. Un attributo chiave del modello di progettazione del data fabric sono i metadati attivi, che servono ad automatizzare le attività di gestione dei dati.

Inoltre, secondo la definizione di Gartner, un data fabric supporta casi d'uso sia operativi che analitici, distribuiti su più piattaforme e processi di distribuzione e orchestrazione. I data fabric supportano una combinazione di diversi stili di integrazione dei dati e sfruttano i metadati attivi, i knowledge graph, la semantica e il ML per aumentare la progettazione e la fornitura dell'integrazione dei dati.

È importante capire che il data fabric (e lo stesso vale per il data mesh) è un modello di progettazione che si costruisce attraverso più componenti della piattaforma dati, non si acquista attraverso una singola SKU.

Come funziona il Data Fabric?

Il Data Fabric è un'architettura di dati distribuita che consente di archiviare, elaborare e unificare i dati in varie sedi e piattaforme. Consente l'integrazione dei dati, la virtualizzazione, l'orchestrazione, la gestione dei metadati, la governance, la sicurezza e la privacy.

Un data fabric utilizza analisi continue su asset di dati esistenti e individuabili, rese possibili da metadati attivi e tecniche di AI/ML, per supportare la progettazione, la distribuzione e l'utilizzo di dati integrati e riutilizzabili in tutti gli ambienti, comprese le piattaforme ibride e multicloud .

Il Data Fabric fornisce anche un catalogo di dati (un repository centralizzato di metadati e informazioni sulle risorse disponibili) e API di accesso ai dati per facilitare l'interazione degli utenti e delle applicazioni con i dati senza soluzione di continuità. Si tratta di un'architettura di dati distribuita che consente di archiviare ed elaborare i dati in diverse posizioni e piattaforme.

Quali sono le tecnologie utilizzate per supportare il data fabric?

L'attivazione di un data fabric comporta l'utilizzo di una combinazione di strumenti e tecnologie per integrare, gestire e analizzare i dati in tutta l'organizzazione. Un'architettura data fabric consente una visione unificata e coerente dei dati tra fonti e ambienti diversi. Ecco alcuni strumenti che potrebbero essere utili nel processo di implementazione e attivazione di un data fabric:

  • Integrazione dei dati / iPaaS
  • Archiviazione e gestione dei dati
  • Virtualizzazione dei dati
  • Catalogo dati
  • Governance dei dati
  • Gestione dei metadati
  • Analitica e business intelligence
  • Sicurezza e conformità dei dati
  • Apprendimento automatico e IA
  • Orchestrazione del flusso di lavoro

Ricordate che gli strumenti specifici che sceglierete dipenderanno dai requisiti della vostra organizzazione, dall'infrastruttura esistente e dalla natura dei dati con cui state lavorando. Inoltre, l'implementazione potrebbe prevedere una combinazione di soluzioni on-premises e basate su cloud, in base alla strategia dell'organizzazione.

Quali sono i vantaggi del data fabric?

I vantaggi del data fabric sono molteplici:

  • Gli specialisti che supportano la tecnologia, come i direttori IT, i responsabili delle piattaforme dati e gli ingegneri dei dati, possono sperimentare un aumento della produttività grazie alla creazione di integrazioni automatiche e all'accesso automatizzato ai dati che alleggerisce il peso di carichi di lavoro in continua crescita.
  • Anche gli integratori cittadini, come gli utenti aziendali e i dirigenti, traggono vantaggio dall'accesso automatizzato ai dati e dalla facilità d'uso, che semplifica gli sforzi per completare più rapidamente il loro lavoro con i dati.
  • L'azienda beneficia di un time-to-value più rapido dei dati in tutta l'azienda. L'azienda è più agile e reattiva e, inoltre, diventa una cultura più orientata e consapevole dei dati.    

Quali sono le sfide del data fabric?

Poiché un data fabric moderno viene costruito e assemblato, non acquistato tramite una singola SKU, le sfide del data fabric si presentano quando i componenti necessari del data fabric non sono ancora disponibili o sufficientemente maturi per realizzare la visione di un ambiente data fabric automatizzato. Gli esempi includono:

  • Mancanza di metadati per consentire la categorizzazione e la scoperta degli asset di dati.
  • Difficoltà a creare integrazioni e automazioni a causa di interfacce difficili da usare.
  • AI/ML non sviluppata o immatura, che può portare a risultati imprecisi
  • Prestazioni lente, che tradizionalmente rappresentano il compromesso quando si federa una query su sistemi di dati distribuiti
  • Mancanza di un tessuto di integrazione dei dati trasversale e senza soluzione di continuità, il che significa che i silos di dati non saranno eliminati.