Costruire potenti agenti di intelligenza artificiale non è il punto di arrivo. Se state leggendo questo articolo, probabilmente avete costruito agenti in grado di ragionare, agire e persino utilizzare strumenti da soli. Forse stanno già facendo un lavoro impressionante. Ma se volete affidare questi agenti alla produzione, si presenta una nuova serie di sfide che vanno oltre la semplice verifica che l'agente "funzioni" in laboratorio.
Cosa succede quando gli agenti hanno bisogno dell'approvazione umana prima di prendere una decisione rischiosa? Gli agenti possono sopravvivere a lunghi periodi, interruzioni o riavvii senza perdere il loro posto? E cosa occorre per supportare agenti che non sono semplici script su un desktop, ma sistemi complessi che funzionano su piattaforme cloud e ambienti distribuiti?
Queste sono le domande che hanno spinto noi di SnapLogic a ripensare la gestione dello stato degli agenti. La risposta: Agent Continuations, un nuovo meccanismo progettato per rendere i flussi di lavoro degli agenti realmente riprendibili, affidabili e collaborativi.
Dove si collocano gli esseri umani?
L'automazione degli agenti ha enormi vantaggi, ma la maggior parte delle organizzazioni ha bisogno di guardie. Le persone vogliono una supervisione per le attività che comportano un rischio: si pensi al trasferimento di denaro, all'eliminazione di account o alle modifiche importanti ai sistemi critici. Noi chiamiamo questo umano nel cerchio processo decisionale.
Non si vuole che un agente superi una fase ad alto rischio senza che un umano dia il via libera. Allo stesso tempo, non si vuole interrompere l'intero flusso di lavoro dell'agente solo per attendere l'approvazione, soprattutto se il coordinamento avviene tra team o fusi orari diversi.
Agenti di lunga durata e problema del fallimento
Più gli agenti sono sofisticati, più è probabile che funzionino per ore (o addirittura per giorni), prendendo molte decisioni lungo il percorso. Ma i processi di lunga durata sono una calamita per i guasti e i problemi di rete, i singhiozzi dell'hardware, i limiti delle API o le interruzioni del servizio di cloud possono bloccare i progressi se non si fa attenzione.
La maggior parte dei framework odierni presuppone che il ciclo principale dell'agente continui a girare finché non ha finito. Ma nel mondo reale non è sempre possibile garantirlo. Se il sistema va in tilt, l'agente deve ripartire da zero? O può riprendere da dove si era interrotto?
Il nuovo mondo: agenti multilivello e distribuiti
Le architetture degli agenti si stanno evolvendo. Invece di un unico grande agente, spesso gli orchestratori delegano il lavoro a subagenti, ciascuno con i propri compiti e kit di strumenti. Questi subagenti possono essere eseguiti su server diversi, piattaforme cloud o persino interagire tramite API come Slack o app web.
Questa complessità moltiplica il rischio di interruzione e rende ancora più importante disporre di un modo affidabile per sospendere, persistere e riprendere l'esecuzione dell'agente, soprattutto quando è necessario l'intervento dell'uomo o quando sono coinvolte dipendenze esterne.
Inserire le prosecuzioni dell'agente
Per risolvere queste sfide, ci siamo ispirati alla teoria dei linguaggi di programmazione, in particolare al concetto di continuazione. Nella programmazione, una continuazione cattura tutto ciò che è necessario sapere per mettere in pausa e poi riprendere un calcolo da un punto particolare.
Le Agent Continuation fanno lo stesso per i flussi di lavoro dell'IA:
- In qualsiasi fase del processo di un agente, è possibile "fotografare" il suo stato completo, compresi gli strumenti che stava per chiamare, le azioni in sospeso e persino lo stato annidato dei subagenti.
- Questa istantanea può essere archiviata, spostata o addirittura trasferita a un altro sistema.
- Quando si è pronti, ad esempio dopo l'approvazione di una richiesta da parte di un umano, si può inviare nuovamente la continuazione e l'agente riprende esattamente dal punto in cui si era interrotto, senza perdere nulla nel mezzo.
Come funziona in pratica?
Ogni interazione con l'agente, ogni chiamata all'LLM, ogni esecuzione di uno strumento viene registrata in un "array di messaggi" strutturato. Questo array agisce come un registro degli eventi, fornendo l'intera conversazione e la storia delle decisioni fino al momento attuale. Quando è necessaria una pausa (magari per l'approvazione umana o perché un agente ha raggiunto un limite di risorse), viene creato un oggetto di continuazione.
Questo oggetto di continuazione è valido:
- L'array dei messaggi (la memoria dell'agente su ciò che è accaduto)
- Metadati su ciò che deve essere ripreso (ad esempio, quale chiamata allo strumento è in attesa di approvazione)
- Flag per tenere traccia di quali fasi sono state approvate o elaborate
Se gli agenti sono annidati, le continuazioni supportano livelli arbitrari di ricorsione, catturando non solo lo stato dell'agente principale, ma anche tutti gli stati dei subagenti.
Una volta intrapresa l'azione richiesta (ad esempio, un manager approva una chiamata di uno strumento sensibile), la continuazione aggiornata viene rinviata all'agente, che ricostruisce l'intero flusso di lavoro e continua ad andare avanti.
Siete pronti a vederlo in azione? Date un'occhiata alla nostra demo su GitHub.
Esempio del mondo reale: Onboarding delle risorse umane con Agent Continuations
Supponiamo che stiate automatizzando un flusso di lavoro di onboarding delle risorse umane. L'agente HR principale deve:
- Creare un nuovo account utente
- Impostare i privilegi dell'account
- Inviare un'e-mail di benvenuto
Ma autorizzare i privilegi degli account è rischioso, quindi richiede un'approvazione umana esplicita.
Con Agent Continuations, il flusso di lavoro si ferma proprio nella fase di autorizzazione, raggruppa l'intero stato dell'agente e lo invia per la revisione. Una volta approvato, il flusso di lavoro riprende, invia l'e-mail di benvenuto e si conclude: nessun progresso perso, nessun riavvio manuale e nessun rischio di saltare la supervisione umana.
Perché è importante
Le Agent Continuation apportano affidabilità e flessibilità ai flussi di lavoro avanzati dell'intelligenza artificiale.
- Gli agenti possono funzionare per tutto il tempo necessario, con una resilienza integrata a guasti o riavvii.
- Le approvazioni umane diventano cittadini di prima classe, non scomodi workaround.
- I sistemi di agenti complessi e distribuiti possono essere messi in pausa e ripresi da un ambiente all'altro, sia sul desktop che nel cloud o in più team.
Altri framework offrono la gestione degli stati, ma la maggior parte di essi manca di un'approvazione umana continua o non è in grado di gestire architetture di agenti profondamente annidate. Il nostro approccio, nato dal team di ricerca di SnapLogic AgentCreator , combina entrambe le cose.
Dove siamo diretti
Abbiamo prototipato Agent Continuations sulla base dell'API OpenAI Python (la trovate qui su GitHub) e all'interno della piattaforma AgentCreator di SnapLogic. Stiamo lavorando attivamente per estendere queste idee a scenari più ampi:
- Sospendere gli agenti per motivi che vanno oltre l'approvazione umana (come l'attesa di eventi asincroni).
- Integrazione con altri framework e standard
Se siete interessati a costruire agenti AI robusti e riassumibili, vi invito a provare Agent Continuations o, se volete vedere la progettazione visiva di agenti in azione, date un'occhiata a SnapLogic AgentCreator.
Riflessioni finali
La messa in produzione degli agenti non riguarda solo ciò che possono fare, ma anche il modo in cui si riprendono, si adattano e collaborano. Con Agent Continuations, stiamo costruendo una base per sistemi di intelligenza artificiale in grado di sopravvivere al mondo reale, fermandosi per le persone quando è importante e riprendendo sempre da dove sono stati lasciati.
- Volete vedere il discorso completo? Guarda su YouTube
- Codice e documentazione: github.com/SnapLogic/agent-continuations
- Progettazione visiva degli agenti: agentcreator.com
