Ein umfassender Leitfaden zur Integration von Azure AI Search in Azure OpenAI

Die Retrieval-Augmented Generation (RAG)-Pipeline hat in den letzten Jahren erheblich an Bedeutung gewonnen. Große Sprachmodelle (LLMs) nutzen domänenspezifisches Wissen über den RAG-Mechanismus, um aufschlussreiche und kontextbezogene Antworten zu generieren. Die Implementierung einer RAG-Pipeline erfordert eine gut durchdachte Infrastruktur, einschließlich Vektordatenbanken und einer Datenaufnahmeschleife, um Informationen effizient von Quellsystemen in die Datenbank zu übertragen.

Azure bietet Azure AI Search, eine vollständig verwaltete RAG-Lösung, die die Implementierung vereinfacht und die Komplexität des Betriebs reduziert. Als Informationsabrufsystem der Enterprise-Klasse verarbeitet Azure AI Search heterogene Inhalte, indiziert Daten für einen optimierten Abruf und liefert relevante Informationen über Abfragen und Anwendungen. Es ist das empfohlene Abrufsystem für die Entwicklung von RAG-basierten Anwendungen auf Azure. Es verfügt über native LLM-Integrationen mit Azure OpenAI Service und Azure Machine Learning, unterstützt benutzerdefinierte Modellintegrationsmechanismen und bietet mehrere Strategien zur Relevanzoptimierung, um die Sucheffektivität zu verbessern.

Um die RAG-Implementierung weiter zu optimieren, ermöglicht SnapLogic eine nahtlose Integration zwischen Azure AI Search und Azure OpenAI, sodass Unternehmen intelligente und effiziente KI-gestützte Anwendungen entwickeln können. Die folgenden Richtlinien beschreiben die erforderlichen Schritte, um diese Integration zu erreichen.

Grundlagen zur Verwendung von Azure AI Search

Die folgenden Schritte bieten einen strukturierten Ansatz zum Einrichten und Verwenden von Azure AI Search zum Indizieren und Abfragen von Daten.

Schritt 1: Azure AI Search einrichten

1. Abonnieren Sie Azure AI Search über das Azure-Portal.
2. Daten importieren:
   • Klicken „Daten importieren“ und wählen Sie die Datenquelle aus, die Sie integrieren möchten.
     
3. Erstellen Sie einen Index:
   • Definieren Sie einen Index für die Datenquelle.
   • Stellen Sie sicher, dass das gewünschte Feld Azure KI-Suche zu verarbeiten hat die durchsuchbar Attribut aktiviert.
     
4. Konfigurieren Sie den Indexer:
   • Führen Sie den Einrichtungsassistenten durch, um einen Indexer zu erstellen.
   • Sobald der Indexer erstellt wurde, ist Ihre Azure AI Search -Instanz einsatzbereit.

Schritt 2: Konfigurieren Sie den Azure-Datenquellen-AI-Snap

Um eine nahtlose Integration zwischen Azure AI Search und Azure OpenAI zu ermöglichen, führen Sie die folgenden Schritte aus, um das Azure Data Source AI Snap in Snaplogic Designer zu konfigurieren:

1. Snap-Konto konfigurieren
   • Richten Sie den Azure Data Source AI Snap ein, indem Sie das zugehörige Konto konfigurieren.
2. Stellen Sie den KI-Suchendpunkt bereit.
   • Geben Sie den Azure AI Search-Endpunkt in die Snap-Einstellungen ein.
3. Geben Sie den Indexnamen an.
   • Definieren Sie den Indexnamen, der für die Suche verwendet werden soll.
4. Feldzuordnung (Optional)
   • Ein Array von Werten.
   • Eine durch Kommas getrennte Zeichenfolge.
   • Benutzer können optional eine Feldzuordnungskonfiguration bereitstellen, um Beziehungen zwischen verschiedenen Feldern zu definieren.
   • Geben Sie an, welches Feld den Titel darstellt und welches Feld den Inhalt enthält.
   • Das Inhaltsfeld kann entweder sein:
   • Das Titelfeld muss eine Zeichenfolge sein.
5. Legen Sie den Abfragetyp fest(Optional)
   • Der Standardabfragetyp ist auf „einfach“ eingestellt .
   • Benutzer können diese Einstellung nach Bedarf ändern oder den Standardwert beibehalten.
6. Mit Azure Chat verbinden Vervollständigung
   • Nach der Konfiguration verbinden Sie den Data Source AI Search Snap mit Azure ChatCompletion, um intelligente Abfrageantworten mit Azure OpenAI zu ermöglichen.

Schritt 3: Azure OpenAI Chat Completion konfigurieren

Um die Integration abzuschließen und KI-gestützte Antworten zu aktivieren, führen Sie die folgenden Schritte aus, um Azure OpenAI Chat Completion zu konfigurieren:

1. Konfigurieren Sie das Feld „Datenquelle“.
   • Verwenden Sie die Ausgabe des Azure Data Source AI Search Snap als Eingabe für Azure OpenAI Chat Completion.
2. Die Eingabeaufforderung bereitstellen
   • Definieren Sie die Eingabeaufforderung, die Sie für die Abfrage des KI-Modells verwenden möchten.
   • Die Eingabeaufforderung sollte so gestaltet sein, dass die abgerufenen Daten effektiv genutzt werden können.
3. Die Pipeline ausführen
   
   • Führen Sie die Pipeline aus, um die Abfrage zu verarbeiten.
   • Der ChatCompletion Snap generiert Antworten auf Grundlage der Ergebnisse von Azure AI Search.
   • Die Ausgabe enthält ein Feld „Zitate“, in dem die Quelle der abgerufenen Informationen angegeben ist.

Verwendung von Vektorabfragen in Azure AI Search

Schritt 1: Azure AI Search einrichten

1. Azure AI Search abonnieren
   • Rufen Sie das Azure-Portal auf und erstellen Sie einen Azure AI Search -Dienst.
2. Daten importieren und vektorisieren
   
   • Klicken Sie auf „Daten importieren und vektorisieren“ und wählen Sie die zu integrierende Datenquelle aus.
3. Daten in Vektoren einbetten(falls zutreffend)
   
   • Um die Vektorsuche zu aktivieren, müssen die Daten mithilfe eines Einbettungsmodells in Vektoreinbettungen konvertiert werden.
   • Wenn Ihr Datensatz bereits vektorisierte Daten enthält, können Sie diese direkt integrieren, ohne sie erneut vektorisieren zu müssen.
4. Indexerstellung überprüfen
   
   • Nach Abschluss der Indexeinrichtung wird das Vektorfeld im Indexschema sichtbar sein.

Schritt 2: Konfigurieren Sie den Azure-Datenquellen-AI-Snap

Um eine nahtlose Integration zwischen Azure AI Search und Azure OpenAI zu ermöglichen, konfigurieren Sie den Azure Data Source AI Snap, indem Sie die folgenden Schritte ausführen:

1. Snap-Konto konfigurieren
   • Richten Sie den Azure Data Source AI Snap ein, indem Sie das zugehörige SnapLogic-Konto konfigurieren.
2. Stellen Sie den Azure AI Search-Endpunkt bereit.
   • Geben Sie den Azure AI Search-Endpunkt ein, um die Verbindung herzustellen.
3. Geben Sie den Indexnamen an.
   • Definieren Sie den Indexnamen, der für die vektorbasierte Suche verwendet werden soll.
4. Feldzuordnung konfigurieren(Optional)
   • Benutzer können Feldzuordnungen definieren, um Beziehungen zwischen verschiedenen Feldern festzulegen.
   • Zuweisen Titel-Feld und ein Inhaltsfeld:
     • Die Inhaltsfeld kann sein:
       • Eine Liste (Array) von Werten.
       • Eine durch Kommas getrennte Zeichenfolge.
     • Das Titelfeld muss eine Zeichenfolge sein.
   • Für vektorbasierte Abfragen, geben Sie die Vektorfeld Azure AI Search mitteilen, welches Feld für Vektorvergleiche verwendet werden soll.
     • Die Vektorfeld kann sein:
       • Eine Zeichenfolge.
       • Eine Liste von Zeichenfolgen.
       • Eine durch Kommas getrennte Zeichenfolge.
5. Legen Sie den Abfragetyp fest
   • Geben Sie den Abfragetyp als „Vektor“ an, um vektorbasierte Suchen zu aktivieren.
6. Mit Azure Chat verbinden Vervollständigung
   • Nach der Konfiguration verbinden Sie den Azure Data Source AI Search Snap mit Azure ChatCompletion, um KI-gestützte Antworten mit Azure OpenAI zu ermöglichen.

Schritt 3: Azure OpenAI Chat Completion konfigurieren

Um die Integration abzuschließen und KI-gestützte Antworten zu aktivieren, führen Sie die folgenden Schritte aus, um Azure OpenAI Chat Completion zu konfigurieren:

1. Konfigurieren Sie das Feld „Datenquelle“.
   • Verwenden Sie die Ausgabe des Azure Data Source AI Search Snap als Eingabe für Azure OpenAI Chat Completion.
2. Einrichten der Abhängigkeit des Einbettungsmodells
   • Stellen Sie sicher, dass in Azure OpenAI dasselbe Einbettungsmodell referenziert wird, das zur Vektorisierung der Daten verwendet wurde.
   • Dieser Schritt ist entscheidend für genaue Vektorähnlichkeitsvergleiche und die Suchleistung.
3. Die Eingabeaufforderung bereitstellen
   • Definieren Sie die Eingabeaufforderung, die für die Abfrage des KI-Modells verwendet wird.
   • Stellen Sie sicher, dass die Eingabeaufforderung so strukturiert ist, dass die abgerufenen vektorbasierten Daten effektiv für optimale KI-Antworten genutzt werden können.

Verwendung semantischer Abfragen in Azure AI Search

Schritt 1: Azure AI Search einrichten

1. Auf Azure AI Search zugreifen
   • Navigieren Sie im Azure-Portal zum Azure AI Search-Dienst.
2. Wählen Sie den Index aus.
   • Wählen Sie den Index aus, den Sie für die semantische Suche verwenden möchten.
3. Erstellen Sie eine semantische Konfiguration
   • Definieren Sie eine neue semantische Konfiguration für den ausgewählten Index.
4. Semantische Felder konfigurieren
   • Geben Sie die erforderlichen Felder an:
     • Titel-Feld – Stellt den Titel des Dokuments dar.
     • Inhaltsfeld – Enthält den Hauptteil des Dokuments.
     • Schlüsselwortfeld – Enthält Schlüsselbegriffe für eine verbesserte semantische Übereinstimmung.
5. Konfiguration speichern
   • Sobald alle Felder zugewiesen sind, speichern Sie die Konfiguration.
   • Ihr Index ist nun für die semantische Suche bereit.

Schritt 2: Konfigurieren Sie den Azure-Datenquellen-AI-Such-Snap

1. Ändern Sie den Abfragetyp
   • Setzen Sie den Abfragetyp auf „semantisch“, um semantische Suchfunktionen zu aktivieren.
2. Semantische Konfiguration festlegen
   • Geben Sie den in Azure AI Search erstellten semantischen Konfigurationsnamen ein.
3. Mit Azure OpenAI Chat Completion verbinden
   • Verbinden Sie den Azure Data Source AI Search Snap mit Azure OpenAI ChatCompletion.
   • Diese Integration ermöglicht es der semantischen Suche, die Genauigkeit und Relevanz der von KI generierten Antworten zu verbessern.

Anpassen der Suchergebnisse in Azure AI Search

Um die Suchgenauigkeit und -relevanz weiter zu verfeinern und zu verbessern, ermöglicht Azure AI Search den Benutzern, ihre Suchanfragen mit hybriden Abfragetypen und Filtern anzupassen.

Hybride Abfragetypen

Azure AI Search unterstützt die hybride Suche, mit der verschiedene Abfragetypen kombiniert werden können, um die Suchergebnisse zu verbessern:

1. Hybrid aus Vektor- und einfachen Abfragen
   • Dies kombiniert vektorbasierte Ähnlichkeit mit der traditionellen keywordbasierten Suche und gewährleistet sowohl semantische Relevanz als auch textbasierten Keyword-Abgleich.
2. Hybrid aus Vektor- und semantischen Abfragen
   • Dieser Ansatz verbessert die Suche nach Vektorähnlichkeiten durch semantisches Ranking und ermöglicht kontextbezogene Ergebnisse mit besserer Relevanzbewertung.

So aktivieren Sie die hybride Suche:

• Legen Sie den Abfragetyp fest. entweder:
  • „vector_simple_hybrid“
  • „Vektor-Semantik-Hybrid“
• Dadurch wird sichergestellt, dass die Suchergebnisse eine Mischung aus den beiden ausgewählten Abfragetypen sind.

Suchfilter anwenden

Filter helfen dabei, Suchergebnisse einzugrenzen, um bestimmte Bedingungen oder Einschränkungen zu erfüllen.

Schritte zum Anwenden von Filtern:

1. Filterbedingung definieren
   • Verwenden Sie Filter, um die Ergebnisse anhand bestimmter Kriterien wie Datumsbereiche, Kategorien oder benutzerdefinierte Attribute einzuschränken. Die Filtersyntax finden Sie im Azure AI Search-Dokument (https://learn.microsoft.com/en-us/azure/search/search-filters).

1. Sicherstellen, dass Indexfelder filterbar sind
   • Filter funktionieren nur, wenn für die Indexfelder das Attribut „filterbar” aktiviert ist.
   • Bevor Sie Filter anwenden, überprüfen Sie, ob die ausgewählter Index unterstützt Filterung.
     
2. Integrieren Sie den Filter in Ihre Abfrage
   • Wenden Sie benutzerdefinierte Filter an, um die Suchergebnisse entsprechend Ihren Anforderungen zu verfeinern.

Schlussfolgerung

Die Integration von Azure AI Search mit Azure OpenAI eröffnet leistungsstarke Funktionen für die Retrieval-Augmented Generation (RAG) und ermöglicht es Unternehmen, intelligente, KI-gestützte Anwendungen mit erweiterten Suchfunktionen zu entwickeln. Durch die Nutzung von vektoriellen, semantischen und hybriden Suchanfragen können Unternehmen die Informationsgewinnung optimieren und die Relevanz der von KI generierten Antworten verbessern.

Dieser Leitfaden hat die wichtigsten Schritte zu folgenden Themen beschrieben:

• Richten Sie Azure AI Search ein, einschließlich der Konfiguration der Vektor- und semantischen Suche.
• Integrieren Sie Azure Data Source AI Search Snap und ermöglichen Sie so eine nahtlose Datenabfrage.
• Konfigurieren Sie Azure OpenAI Chat Completion, um sicherzustellen, dass KI-generierte Antworten kontextbezogen und präzise sind.
• Passen Sie Suchergebnisse mithilfe von hybriden Suchanfragen und Filtermechanismen an, um die Suchergebnisse zu verfeinern und zu verbessern.

Durch Befolgen dieser Schritte können Unternehmen die Effektivität von Azure AI Search und OpenAI maximieren und so die Relevanz und Genauigkeit der Suche sowie KI-gestützte Erkenntnisse für eine Vielzahl von Anwendungen verbessern. Mit ihrer Skalierbarkeit, Flexibilität und fortschrittlichen KI-Integration ist diese Lösung ideal für Unternehmen, die eine hochmoderne Unternehmenssuche und KI-gestützte Automatisierung implementieren möchten.