I limiti dell'ETL e dell'ELT nell'era degli agenti
Perché gli agenti di intelligenza artificiale hanno bisogno di pipeline di dati in tempo reale, gestite e monitorabili per funzionare in modo affidabile su larga scala
L'imperativo della preparazione dei dati
Gli agenti di intelligenza artificiale e le loro esigenze in termini di dati stanno trasformando ciò che le pipeline di dati aziendali devono garantire. Il trasferimento dei dati da un luogo all’altro, la loro trasformazione ai fini dell’analisi e il loro caricamento in un data warehouse per la creazione di report sono funzionalità fondamentali che rimangono al centro di qualsiasi strategia moderna in materia di dati.
L'IA agentica amplia notevolmente tali requisiti. Gli agenti devono ragionare trasversalmente ai sistemi, ricavare un contesto preciso, attivare flussi di lavoro e agire nel rispetto delle autorizzazioni previste, il tutto in contesti aziendali reali e in tempo reale.
Mentre in passato gli architetti dei dati potevano trovarsi di fronte a una scelta relativamente semplice tra i modelli ETL ed ELT, la creazione delle basi dati per l’IA agentica richiede un approccio più approfondito. I dati forniti dalle pipeline devono essere aggiornati, gestiti, monitorabili e affidabili proprio nel momento in cui un agente deve agire.
Questa guida fornisce le linee guida per operare le giuste scelte architetturali in risposta a questi nuovi requisiti, pur continuando a soddisfare quelli esistenti.
Il confronto tra ETL ed ELT è solo il punto di partenza. L'IA agentica richiede pipeline di dati di cui gli agenti possano fidarsi.
Perché il confronto tra ETL ed ELT non è più sufficiente
Da anni, i team che si occupano di dati valutano i modelli ETL ed ELT in base a diversi aspetti quali velocità, scalabilità, controllo e governance.
L'ETL (extract, transform, load) aiuta le organizzazioni a trasformare, convalidare e standardizzare i dati prima che questi vengano trasferiti in un sistema di destinazione. Spesso rappresenta la soluzione più adatta quando la conformità, l'accuratezza e i controlli pre-caricamento sono di fondamentale importanza.
ELT (extract, load, transform) aiuta i team a trasferire rapidamente i dati in cloud , data lake e lakehouse cloud , per poi trasformarli in base alle esigenze analitiche o operative man mano che queste si evolvono. Garantisce flessibilità, sperimentazione e scalabilità in ambienti in rapida evoluzione.
La maggior parte delle aziende oggi utilizza entrambi gli approcci, e a ragione. La domanda più urgente è se uno dei due approcci, così come attualmente implementato, sia pronto per gli agenti di intelligenza artificiale.
Gli agenti di intelligenza artificiale comportano un nuovo livello di sollecitazione sull’infrastruttura dei dati. Non si limitano a utilizzare i dati per i dashboard, ma li impiegano per ragionare, fornire raccomandazioni, automatizzare, segnalare problemi e agire a livello trasversale tra i sistemi. Quando tali dati sono obsoleti, incompleti, gestiti in modo inadeguato o privi di contesto aziendale, l’agente produce risultati inadeguati a una velocità tale da superare la capacità di un team umano di individuarli o correggerli.
I limiti delle condutture tradizionali
L'IA agenziale mette in luce le vulnerabilità che molte organizzazioni hanno cercato di aggirare per anni. Ad esempio:
Trasferimento dei dati con approccio "batch-first"
I cicli di aggiornamento dei dati effettuati esclusivamente durante la notte diventano un ostacolo quando gli operatori hanno bisogno di dati aggiornati relativi a clienti, transazioni, rischi o operazioni nel corso della giornata lavorativa.
Lacune nella governance
Le politiche applicate su un endpoint API non coprono le query al database, le connessioni JDBC e i flussi di lavoro personalizzati che gli agenti utilizzano per accedere ai dati.
Metadati frammentati
I termini “cliente” o “ordine” possono assumere significati diversi nei sistemi CRM, ERP, di fatturazione e di magazzino; pertanto, gli operatori hanno bisogno di un livello semantico condiviso per poter operare in modo affidabile.
Segnali di affidabilità in fase di esecuzione mancanti
Gli agenti devono poter verificare se i dati sono aggiornati, gestiti in modo adeguato e tracciabili, in modo che i team possano avere fiducia nelle proprie azioni e intervenire quando qualcosa sembra non andare per il verso giusto.
Errore durante il passaggio dall'ambiente di test all'ambiente di produzione
I progetti pilota in ambiente di test, perfettamente ordinati, si scontrano con dati di produzione disordinati (valori nulli, duplicati, deviazioni dallo schema), e le architetture non progettate per gestire tali situazioni trasformano i casi limite in un rischio che si aggrava progressivamente.
L'inefficienza nella pratica
Alla DCU, i team aziendali si affidavano in precedenza a operazioni manuali di copia, incolla e unione dei dati provenienti da più sistemi in fogli di calcolo. Quando i dati erano finalmente pronti per l’uso, erano già obsoleti e le stesse informazioni estratte da sistemi diversi risultavano spesso incoerenti. Continua a leggere per scoprire come la DCU ha unificato questi processi con SnapLogic per ottenere analisi dei dati più rapide.
Gli agenti di intelligenza artificiale pronti per la produzione necessitano di pipeline in grado di fornire dati aggiornati, applicare controlli di accesso e mettere in evidenza i segnali di affidabilità di cui i team hanno bisogno prima di agire.
Cosa richiede l’IA agentica dai dati aziendali
Gli agenti di intelligenza artificiale pongono nuove esigenze all'infrastruttura dati aziendale. Hanno bisogno di un livello di esecuzione affidabile che fornisca loro i dati giusti, nel contesto giusto, con i controlli adeguati, nel momento in cui devono agire.
È proprio in questo contesto che le decisioni relative ai processi ETL ed ELT tradizionali si inseriscono in un modello di preparazione più ampio, a seconda delle esigenze specifiche dell’organizzazione. Ad esempio, potrebbe essere necessario che i dati siano:
- Trasformato e governato prima ancora che nascesse qualsiasi movimento
- Caricato rapidamente e poi trasformato in prossimità del punto di utilizzo
- Renduti disponibili tramite API, eventi o flussi di lavoro degli agenti
Ma l'obiettivo è lo stesso per ogni modello: ogni pipeline deve essere affidabile, tracciabile, monitorabile e pronta all'uso. Per soddisfare tale standard è necessario compiere progressi nei seguenti ambiti:
Dati in tempo reale proprio dove servono
Non tutte le pipeline richiedono dati in tempo reale, ma quando un agente prende una decisione relativa al rischio o avvia un flusso di lavoro, l'aggiornamento dei dati influisce direttamente sul risultato; pertanto, i team che si occupano dei dati dovrebbero dare la priorità alle pipeline sensibili alla latenza.
Governance e contesto fin dalla progettazione
Gli agenti devono sapere cosa significano i dati, chi può accedervi e quali azioni sono consentite; ciò richiede metadati coerenti, tracciabilità e applicazione delle politiche, altrimenti erediteranno l’ambiguità esistente nell’azienda e agiranno di conseguenza su larga scala.
Osservabilità prima della messa in produzione
Gli agenti hanno bisogno di segnali di affidabilità prima di agire, il che significa una visibilità costante sulla qualità dei dati, sullo stato della pipeline e sul comportamento, poiché non esiste altro modo per confermare che un’azione sia stata basata su dati accurati e aggiornati
Tracciabilità per la fiducia
I revisori, sia interni che esterni, necessitano di una visibilità completa sulle modalità di accesso, trasferimento ed elaborazione dei dati, e una pipeline regolamentata rappresenta il contesto ideale per generare i file di log arricchiti che un semplice log di connessione non è in grado di fornire.
Il fatto che i sistemi siano connessi non implica automaticamente che i dati siano pronti per l'IA, e la preparazione dei dati per l'IA non è un traguardo che si raggiunge una volta per tutte. Richiede infatti una pipeline gestita in modo continuativo, monitorabile e affidabile.
SnapLogic: progettato per l’era dell’autonomia
SnapLogic aiuta i team a collegare dati, applicazioni, API e agenti di intelligenza artificiale attraverso un unico livello di integrazione governato. Anziché gestire strumenti separati per flussi di lavoro ETL, ELT, basati su API, guidati dagli eventi e basati su agenti, i team operano da un’unica piattaforma in grado di gestire ogni modello senza accumulare il debito di manutenzione derivante dal codice personalizzato o dalla complessità dei collegamenti punto a punto.
Gli Snaps preconfigurati accelerano la connettività in tutto lo stack aziendale, dalle cloud e dagli strumenti SaaS ai sistemi legacy, ai modelli di linguaggio di grandi dimensioni (LLM) e ai database vettoriali. Lo sviluppo low-code e assistito dall'intelligenza artificiale riduce i tempi necessari per creare, adattare e gestire le pipeline man mano che i requisiti evolvono.
L'IA agenziale all'opera
L'IA agenziale produce risultati quando dati, applicazioni, API e flussi di lavoro sono collegati tramite un livello di integrazione regolamentato. Le organizzazioni che stanno compiendo progressi stanno sviluppando modelli di integrazione ripetibili che collegano i sistemi, preservano il contesto e rendono osservabile il lavoro basato sull'IA.
Agenti di intelligenza artificiale aziendali che generano un reale valore aggiunto per l'azienda
L'agente IA interno di SnapLogic, Jean-Paul, si collega ai sistemi in cui si svolge il lavoro, tra cui Salesforce, Zendesk, BigQuery e Box, per fornire risultati finali basati su dati in tempo reale. Realizzato sul livello di integrazione esistente di SnapLogic, Jean-Paul è stato implementato in pochi giorni ed è diventato rapidamente un agente operativo in tutta l'azienda.
Risultati: Jean-Paul ha generato un valore stimato di oltre 3 milioni di dollari in quattro mesi, ha recuperato oltre 2.000 ore in un unico periodo di 30 giorni, ha gestito oltre 1.600 richieste e ha prodotto oltre 200 documenti di qualità professionale.
IA agenziale controllata nei servizi finanziari regolamentati
Cambridge & Counties Bank sta utilizzando l'intelligenza artificiale agentica per sostenere un obiettivo di crescita strategica nel settore del finanziamento di beni, con l'obiettivo di portare il volume d'affari annuale da 100 milioni a 300 milioni di sterline, accelerando i tempi decisionali da giorni a minuti. SnapLogic funge da livello di orchestrazione agentica, gestendo cosa viene eseguito, quando viene eseguito e in quale sequenza.
L'approccio della banca è concepito per automatizzare il lavoro, non per eliminare la supervisione. La revisione con intervento umano, il punteggio di affidabilità, gli agenti modulari e la verificabilità sono integrati nell'architettura, in modo che i team possano aumentare la velocità mantenendo il controllo in un contesto regolamentato.
Impatto: Cambridge & Counties Bank punta a triplicare la propria capacità operativa, mantenendo al contempo le competenze umane al centro delle decisioni di alto valore.
Un'integrazione all'avanguardia che sfrutta l'intelligenza artificiale
Spirent aveva bisogno di semplificare un ambiente di integrazione frammentato, trovando al contempo un modo pratico per utilizzare l'intelligenza artificiale nei flussi di lavoro interni. Grazie a SnapLogic, Spirent ha unificato l'integrazione su una piattaforma centralizzata e ha utilizzato AgentCreator sviluppare un'applicazione di sales intelligence basata sull'intelligenza artificiale. Nel giro di una settimana dall'implementazione, l'assistente pre-vendita era già in grado di sintetizzare articoli sulla concorrenza e di fornire informazioni rilevanti a 200 rappresentanti commerciali tramite Salesforce.
Risultati: Spirent ha ottenuto una riduzione del 90% dei costi di manutenzione della piattaforma di integrazione, un aumento del 25% della produttività del personale addetto alla business intelligence e un risparmio previsto di 144.000 dollari all'anno sugli abbonamenti alle soluzioni di intelligenza artificiale.
“SnapLogic semplifica l’integrazione in una piattaforma centralizzata e di facile utilizzo, in grado di collegare in modo sicuro tutti i nostri sistemi, sia che si tratti di strumenti legacy che di applicazioni cloud.”
Matt Bostrom, vicepresidente della tecnologia aziendale, Spirent
L'efficienza nella pratica
DCU ha migrato oltre 5 miliardi di record su Amazon Redshift in 6 mesi e ha accelerato il lavoro di integrazione grazie alle pipeline riutilizzabili di SnapLogic.
Come gettare le basi per un'IA agente
La preparazione all'IA agentica non richiede di modernizzare tutto in una volta. Iniziate dai flussi di lavoro in cui un migliore accesso ai dati e una migliore governance possono generare un impatto misurabile sul business, quindi gettate le basi per l'integrazione necessarie per scalare in modo sicuro.
Passo 1
Calcola il debito di integrazione
Individua i flussi di lavoro in cui l’attività subisce rallentamenti a causa della difficoltà di accedere ai dati, di riconciliarli o di considerarli affidabili. Si tratta in genere di situazioni in cui i dipendenti devono copiare dati da un sistema all’altro, attendere il parere degli analisti o consultare diverse applicazioni prima di prendere una decisione. Questo attrito è un segnale: se un flusso di lavoro risulta già complesso per le persone, comporterà un rischio per gli agenti finché la base dati non migliorerà.
Passo 2
Scegliere casi d'uso con un chiaro valore aziendale
I casi d'uso più significativi dell'IA agentica riguardano flussi di lavoro ad alto attrito con risultati misurabili. Date priorità ai processi che comportano ricerche ripetute di dati, generazione di documenti, inoltro o supporto alle decisioni operative. Coinvolgete le persone laddove il giudizio, la conformità o l'esperienza del cliente sono fondamentali.
Passo 3
Creare modelli di integrazione riutilizzabili e regolamentati
Evitate integrazioni una tantum per ogni agente. Realizzate pipeline riutilizzabili, API gestite e modelli di accesso standardizzati in grado di supportare più flussi di lavoro nel tempo. L'architettura corretta può includere ETL, ELT, API, eventi e orchestrazione degli agenti. Ciò che conta è che ogni modello sia gestito, monitorabile e riutilizzabile.
Fase 4
Integrare l'osservabilità nell'architettura
L'osservabilità deve essere integrata fin dall'inizio. I team devono poter monitorare lo stato della pipeline, la qualità dei dati, il comportamento degli agenti e le approvazioni umane prima che gli agenti entrino in produzione, e in modo continuativo anche in seguito. È proprio questa base che trasforma un progetto pilota promettente in un flusso di lavoro di produzione affidabile.
Il confronto tra ETL ed ELT non è sufficiente. L’IA agentica necessita di un livello di integrazione progettato per l’azione, la governance e la scalabilità.
Inizia a costruire
Le aziende che stanno compiendo progressi nel campo dell'IA agentica considerano la preparazione dei dati come una disciplina continua. Esse collegano i sistemi, regolano gli accessi, monitorano i flussi di dati e apportano miglioramenti costanti man mano che l'uso degli agenti si estende a tutta l'azienda.
Il punto di partenza è proprio dove gli attriti nei dati generano il rischio maggiore o rallentano il lavoro più importante. Da lì, i modelli di integrazione riutilizzabili e l’osservabilità integrata consentono di espandere l’IA agentica in tutta sicurezza.
