Guida completa all'integrazione di Azure AI Search in Azure OpenAI

La pipeline Retrieval-Augmented Generation (RAG) ha guadagnato una notevole popolarità negli ultimi anni. I modelli linguistici di grandi dimensioni (LLM) sfruttano le conoscenze specifiche di un determinato dominio attraverso il meccanismo RAG per generare risposte approfondite e contestualmente rilevanti. L'implementazione di una pipeline RAG richiede un'infrastruttura ben progettata, che includa database vettoriali e una pipeline di acquisizione dei dati per trasferire in modo efficiente le informazioni dai sistemi di origine al database.

Azure offre Azure AI Search, una soluzione RAG completamente gestita che semplifica l'implementazione e riduce la complessità operativa. In quanto sistema di recupero delle informazioni di livello aziendale, Azure AI Search elabora contenuti eterogenei, indicizza i dati per un recupero ottimizzato e fornisce informazioni pertinenti tramite query e applicazioni. È il sistema di recupero consigliato per lo sviluppo di applicazioni basate su RAG su Azure. È dotato di integrazioni LLM native con Azure OpenAI Service e Azure Machine Learning, supporta meccanismi di integrazione di modelli personalizzati e offre diverse strategie di ottimizzazione della pertinenza per migliorare l'efficacia della ricerca.

Per semplificare ulteriormente l'implementazione di RAG, SnapLogic facilita l'integrazione perfetta tra Azure AI Search e Azure OpenAI, consentendo alle organizzazioni di creare applicazioni intelligenti ed efficienti basate sull'intelligenza artificiale. La seguente linea guida illustra i passaggi necessari per realizzare questa integrazione.

Nozioni di base sull'utilizzo di Azure AI Search

I passaggi seguenti forniscono un approccio strutturato alla configurazione e all'utilizzo di Azure AI Search per l'indicizzazione e l'interrogazione dei dati.

Passaggio 1: configurare Azure AI Search

1. Iscriviti ad Azure AI Search tramite il portale Azure.
2. Importa dati:
   • Clicca "Importa dati" e seleziona l'origine dati che desideri integrare.
     
3. Creare un indice:
   • Definire un indice sulla fonte dati.
   • Assicurati che il campo desiderato Ricerca Azure AI da elaborare ha il ricercabile attributo abilitato.
     
4. Configurare l'indicizzatore:
   • Completa la procedura guidata di configurazione per creare un indicizzatore.
   • Una volta creato l'indicizzatore, l'istanza di Azure AI Search è pronta per l'uso.

Passaggio 2: configurare lo Snap AI dell'origine dati Azure

Per consentire una perfetta integrazione tra Azure AI Search e Azure OpenAI, segui questi passaggi per configurare lo Snap Azure Data Source AI in Snaplogic Designer:

1. Configura l'account Snap
   • Configurare lo Snap AI Origine dati Azure configurando l'account associato.
2. Fornire l'endpoint di ricerca AI
   • Inserisci l'endpoint Azure AI Search nelle impostazioni dello snap.
3. Specificare il nome dell'indice
   • Definisci il nome dell'indice che verrà utilizzato per la ricerca.
4. Mappatura sul campo (Facoltativo)
   • Una serie di valori.
   • Una stringa separata da virgole.
   • Gli utenti possono fornire facoltativamente una configurazione di mappatura dei campi per definire le relazioni tra i diversi campi.
   • Specificare quale campo rappresenta il titolo e quale campo contiene il contenuto.
   • Il campo contenuto può essere:
   • Il campo del titolo deve essere una stringa.
5. Imposta il tipo di query(Facoltativo)
   • Il tipo di query predefinito è impostato su "semplice".
   • Gli utenti possono modificare questa impostazione secondo necessità o mantenere il valore predefinito.
6. Connettiti al completamento chat di Azure
   • Una volta configurato, collega Data Source AI Search Snap ad Azure ChatCompletion per abilitare risposte intelligenti alle query utilizzando Azure OpenAI.

Passaggio 3: configurare il completamento chat di Azure OpenAI

Per completare l'integrazione e abilitare le risposte basate sull'intelligenza artificiale, segui questi passaggi per configurare Azure OpenAI Chat Completion:

1. Configurare il campo Origine dati
   • Utilizza l'output dello Snap Azure Data Source AI Search come input per Azure OpenAI Chat Completion.
2. Fornisci il prompt
   • Definisci il prompt che desideri utilizzare per interrogare il modello AI.
   • Il prompt dovrebbe essere progettato in modo da sfruttare efficacemente i dati recuperati.
3. Esegui la pipeline
   
   • Esegui la pipeline per elaborare la query.
   • Lo Snap ChatCompletion genererà risposte basate sui risultati di Azure AI Search.
   • Il risultato includerà un campo "citazioni" che indicherà la fonte delle informazioni recuperate.

Utilizzo delle query vettoriali in Azure AI Search

Passaggio 1: configurare Azure AI Search

1. Iscriviti ad Azure AI Search
   • Accedi al portale Azure e crea un servizio Azure AI Search.
2. Importazione e vettorializzazione dei dati
   
   • Fare clic su "Importa dati e vettorializza dati" e selezionare l'origine dati da integrare.
3. Incorporare dati nei vettori(se applicabile)
   
   • Per abilitare la ricerca vettoriale, i dati devono essere convertiti in incorporamenti vettoriali utilizzando un modello di incorporamento.
   • Se il tuo set di dati contiene già dati vettorializzati, puoi integrarlo direttamente senza doverlo rivettorializzare.
4. Verifica creazione indice
   
   • Dopo aver completato la configurazione dell'indice, il campo vettoriale sarà visibile nello schema dell'indice.

Passaggio 2: configurare lo Snap AI dell'origine dati Azure

Per consentire una perfetta integrazione tra Azure AI Search e Azure OpenAI, configurare Azure Data Source AI Snap seguendo questi passaggi:

1. Configura l'account Snap
   • Configurare lo Snap Azure Data Source AI configurando l'account SnapLogic associato.
2. Fornire l'endpoint di ricerca Azure AI
   • Inserisci l'endpoint Azure AI Search per stabilire la connessione.
3. Specificare il nome dell'indice
   • Definire il nome dell'indice che verrà utilizzato per la ricerca basata su vettori.
4. Configura mappatura campi(Facoltativo)
   • Gli utenti possono definire le mappature dei campi per specificare le relazioni tra i diversi campi.
   • Assegna un campo titolo e un campo di contenuto:
     • Il campo di contenuto può essere:
       • Un elenco (array) di valori.
       • Una stringa separata da virgole.
     • Il campo del titolo deve essere una stringa.
   • Per query basate su vettori, specificare il campo vettoriale per indicare ad Azure AI Search quale campo utilizzare per i confronti vettoriali.
     • Il campo vettoriale può essere:
       • Una stringa.
       • Un elenco di stringhe.
       • Una stringa separata da virgole.
5. Imposta il tipo di query
   • Specificare il tipo di query come "vettoriale" per abilitare le ricerche basate su vettori.
6. Connettiti al completamento chat di Azure
   • Una volta configurato, collega Azure Data Source AI Search Snap ad Azure ChatCompletion per abilitare le risposte basate sull'intelligenza artificiale utilizzando Azure OpenAI.

Passaggio 3: configurare il completamento chat di Azure OpenAI

Per completare l'integrazione e abilitare le risposte basate sull'intelligenza artificiale, segui questi passaggi per configurare Azure OpenAI Chat Completion:

1. Configurare il campo Origine dati
   • Utilizza l'output dello Snap Azure Data Source AI Search come input per Azure OpenAI Chat Completion.
2. Configurare la dipendenza del modello di incorporamento
   • Assicurarsi che lo stesso modello di incorporamento utilizzato per vettorializzare i dati sia referenziato in Azure OpenAI.
   • Questo passaggio è fondamentale per ottenere confronti accurati della similarità dei vettori e prestazioni di recupero ottimali.
3. Fornisci il prompt
   • Definisci il prompt che verrà utilizzato per interrogare il modello di IA.
   • Assicurarsi che il prompt sia strutturato in modo da sfruttare efficacemente i dati vettoriali recuperati per ottenere risposte ottimali dall'IA.

Utilizzo delle query semantiche in Azure AI Search

Passaggio 1: configurare Azure AI Search

1. Accedi a Azure AI Search
   • Accedi al servizio Azure AI Search nel portale Azure.
2. Seleziona l'indice
   • Scegli l'indice che desideri utilizzare per la ricerca semantica.
3. Creare una configurazione semantica
   • Definire una nuova configurazione semantica per l'indice selezionato.
4. Configura i campi semantici
   • Specificare i campi obbligatori:
     • Campo titolo: rappresenta il titolo del documento.
     • Campo contenuto: contiene il corpo principale del documento.
     • Campo Parole chiave – Include termini chiave per una migliore corrispondenza semantica.
5. Salva la configurazione
   • Una volta assegnati tutti i campi, salva la configurazione.
   • Il tuo indice è ora pronto per la ricerca semantica.

Passaggio 2: configurare lo Snap Azure Data Source AI Search

1. Modifica il tipo di query
   • Imposta il tipo di query su "semantico" per abilitare le funzionalità di ricerca semantica.
2. Specificare la configurazione semantica
   • Inserisci il nome della configurazione semantica creato in Azure AI Search.
3. Connettiti ad Azure OpenAI Chat Completion
   • Collega lo Snap Azure Data Source AI Search a Azure OpenAI ChatCompletion.
   • Questa integrazione consente alla ricerca semantica di migliorare l'accuratezza e la pertinenza delle risposte generate dall'intelligenza artificiale.

Personalizzazione dei risultati di ricerca in Azure AI Search

Per perfezionare e migliorare ulteriormente l'accuratezza e la pertinenza della ricerca, Azure AI Search consente agli utenti di personalizzare le query di ricerca con tipi di query ibridi e filtri.

Tipi di query ibride

Azure AI Search supporta la ricerca ibrida, che consente di combinare diversi tipi di query per migliorare i risultati della ricerca:

1. Ibrido di query vettoriali e semplici
   • Questo combina la similarità basata sui vettori con la tradizionale ricerca basata sulle parole chiave, garantendo sia la rilevanza semantica che la corrispondenza delle parole chiave basata sul testo.
2. Ibrido di query vettoriali e semantiche
   • Questo approccio migliora la ricerca per similarità vettoriale con classificazione semantica, consentendo risultati contestualizzati con un punteggio di pertinenza migliore.

Per abilitare la ricerca ibrida:

• Imposta il tipo di query a uno dei seguenti:
  • "vector_simple_hybrid"
  • "vector_semantic_hybrid"
• Ciò garantisce che i risultati della ricerca siano una combinazione dei due tipi di query selezionati.

Applicazione dei filtri di ricerca

I filtri aiutano a restringere i risultati della ricerca in base a condizioni o vincoli specifici.

Passaggi per applicare i filtri:

1. Definire una condizione di filtro
   • Utilizza i filtri per limitare i risultati in base a criteri specifici, quali intervalli di date, categorie o attributi personalizzati. Per informazioni sulla sintassi dei filtri, consulta il documento Azure AI Search (https://learn.microsoft.com/en-us/azure/search/search-filters).

1. Assicurarsi che i campi indice siano filtrabili
   • I filtri funzionano solo se i campi dell'indice hanno l'attributo filtrabile abilitato.
   • Prima di applicare i filtri, verificare che il indice selezionato supporta il filtraggio.
     
2. Integra il filtro nella tua query
   • Applica filtri personalizzati per affinare i risultati della ricerca in base alle tue esigenze.

Conclusione

L'integrazione di Azure AI Search con Azure OpenAI sblocca potenti funzionalità per la generazione potenziata dal recupero (RAG), consentendo alle organizzazioni di creare applicazioni intelligenti basate sull'intelligenza artificiale con funzionalità di ricerca avanzate. Sfruttando query di ricerca vettoriali, semantiche e ibride, le aziende possono ottimizzare il recupero delle informazioni e migliorare la pertinenza delle risposte generate dall'intelligenza artificiale.

Questa guida ha illustrato i passaggi fondamentali per:

• Configurare Azure AI Search, inclusa la configurazione della ricerca vettoriale e semantica.
• Integra Azure Data Source AI Search Snap, consentendo un recupero dei dati senza interruzioni.
• Configura Azure OpenAI Chat Completion, assicurandoti che le risposte generate dall'intelligenza artificiale siano contestualmente pertinenti e accurate.
• Personalizza i risultati della ricerca utilizzando query di ricerca ibride e meccanismi di filtraggio per affinare e migliorare i risultati delle query.

Seguendo questi passaggi, le organizzazioni possono massimizzare l'efficacia di Azure AI Search e OpenAI, migliorando la pertinenza e l'accuratezza della ricerca e le informazioni basate sull'intelligenza artificiale per un'ampia gamma di applicazioni. Grazie alla scalabilità, alla flessibilità e all'integrazione avanzata dell'intelligenza artificiale, questa soluzione è ideale per le aziende che desiderano implementare una ricerca aziendale all'avanguardia e un'automazione basata sull'intelligenza artificiale.