Guide complet pour intégrer Azure AI Search à Azure OpenAI

Le pipeline RAG (Retrieval-Augmented Generation) a connu un essor considérable ces dernières années. Les modèles linguistiques à grande échelle (LLM) exploitent les connaissances spécifiques à un domaine grâce au mécanisme RAG afin de générer des réponses pertinentes et contextualisées. La mise en œuvre d'un pipeline RAG nécessite une infrastructure bien conçue, comprenant des bases de données vectorielles et un pipeline d'ingestion de données afin de transférer efficacement les informations des systèmes sources vers la base de données.

Azure propose Azure AI Search, une solution RAG entièrement gérée qui simplifie la mise en œuvre et réduit la complexité opérationnelle. En tant que système de recherche d'informations de niveau entreprise, Azure AI Search traite des contenus hétérogènes, indexe les données pour une recherche optimisée et fournit des informations pertinentes via des requêtes et des applications. Il s'agit du système de recherche recommandé pour développer des applications basées sur RAG sur Azure. Il intègre nativement LLM avec Azure OpenAI Service et Azure Machine Learning, prend en charge des mécanismes d'intégration de modèles personnalisés et offre plusieurs stratégies d'ajustement de la pertinence pour améliorer l'efficacité de la recherche.

Afin de rationaliser davantage la mise en œuvre du RAG, SnapLogic facilite l'intégration transparente entre Azure AI Search et Azure OpenAI, permettant ainsi aux organisations de créer des applications intelligentes et efficaces basées sur l'IA. Les directives suivantes décrivent les étapes nécessaires pour réaliser cette intégration.

Principes de base de l'utilisation d'Azure AI Search

Les étapes suivantes fournissent une approche structurée pour configurer et utiliser Azure AI Search afin d'indexer et d'interroger des données.

Étape 1 : Configurer Azure AI Search

1. Abonnez-vous à Azure AI Search via le portail Azure.
2. Importer des données:
   • Cliquez « Importer les données » et sélectionnez la source de données que vous souhaitez intégrer.
     
3. Créer un index:
   • Définissez un index sur la source de données.
   • Assurez-vous que le champ souhaité Recherche Azure AI à traiter a le consultable attribut activé.
     
4. Configurer l'indexeur:
   • Suivez les étapes de l'assistant de configuration pour créer un indexeur.
   • Une fois l'indexeur créé, votre instance Azure AI Search est prête à être utilisée.

Étape 2 : Configurer le Snap Azure Data Source AI

Pour permettre une intégration transparente entre Azure AI Search et Azure OpenAI, suivez ces étapes pour configurer le module complémentaire Azure Data Source AI dans Snaplogic Designer:

1. Configurer le compte Snap
   • Configurez le Snap Azure Data Source AI en configurant le compte associé.
2. Fournir le point de terminaison de recherche IA
   • Entrez le point de terminaison Azure AI Search dans les paramètres du snap.
3. Spécifiez le nom de l'index
   • Définissez le nom de l'index qui sera utilisé pour la recherche.
4. Cartographie de terrain (Facultatif)
   • Un tableau de valeurs.
   • Une chaîne séparée par des virgules.
   • Les utilisateurs peuvent éventuellement fournir une configuration de mappage des champs afin de définir les relations entre les différents champs.
   • Indiquez quel champ représente le titre et quel champ contient le contenu.
   • Le champ de contenu peut être soit :
   • Le champ du titre doit être une chaîne de caractères.
5. Définir le type de requête(Facultatif)
   • Le type de requête par défaut est défini sur « simple ».
   • Les utilisateurs peuvent modifier ce paramètre selon leurs besoins ou conserver la valeur par défaut.
6. Se connecter à Azure Chat Completion
   • Une fois configuré, connectez le Snap Data Source AI Search à Azure ChatCompletion pour activer les réponses intelligentes aux requêtes à l'aide d'Azure OpenAI.

Étape 3 : Configurer Azure OpenAI Chat Completion

Pour terminer l'intégration et activer les réponses basées sur l'IA, suivez ces étapes pour configurer Azure OpenAI Chat Completion:

1. Configurer le champ Source de données
   • Utilisez la sortie du Snap Azure Data Source AI Search comme entrée pour Azure OpenAI Chat Completion.
2. Fournir l'invite
   • Définissez l'invite que vous souhaitez utiliser pour interroger le modèle d'IA.
   • L'invite doit être conçue de manière à exploiter efficacement les données récupérées.
3. Exécuter le pipeline
   
   • Exécutez le pipeline pour traiter la requête.
   • Le Snap ChatCompletion générera des réponses basées sur les résultats d'Azure AI Search.
   • Le résultat comprendra un champ « citations » indiquant la source des informations récupérées.

Utilisation des requêtes vectorielles dans Azure AI Search

Étape 1 : Configurer Azure AI Search

1. S'abonner à Azure AI Search
   • Accédez au portail Azure et créez un service Azure AI Search.
2. Importer et vectoriser des données
   
   • Cliquez sur « Importer les données et vectoriser les données » et sélectionnez la source de données à intégrer.
3. Intégrer des données dans des vecteurs(le cas échéant)
   
   • Pour activer la recherche vectorielle, les données doivent être converties en intégrations vectorielles à l'aide d'un modèle d'intégration.
   • Si votre ensemble de données contient déjà des données vectorisées, vous pouvez l'intégrer directement sans avoir à le vectoriser à nouveau.
4. Vérifier la création de l'index
   
   • Une fois la configuration de l'index terminée, le champ vectoriel sera visible dans le schéma d'index.

Étape 2 : Configurer le Snap Azure Data Source AI

Pour permettre une intégration transparente entre Azure AI Search et Azure OpenAI, configurez le module complémentaire Azure Data Source AI en suivant ces étapes :

1. Configurer le compte Snap
   • Configurez le Snap Azure Data Source AI en configurant le compte SnapLogic associé.
2. Fournir le point de terminaison Azure AI Search
   • Entrez le point de terminaison Azure AI Search pour établir la connexion.
3. Spécifiez le nom de l'index
   • Définissez le nom de l'index qui sera utilisé pour la recherche vectorielle.
4. Configurer le mappage des champs(Facultatif)
   • Les utilisateurs peuvent définir des mappages de champs pour spécifier les relations entre différents champs.
   • Attribuer un champ titre et un champ de contenu:
     • Les champ de contenu peut être :
       • Une liste (tableau) de valeurs.
       • Une chaîne séparée par des virgules.
     • Le champ du titre doit être une chaîne de caractères.
   • Pour requêtes basées sur des vecteurs, spécifiez le champ vectoriel pour indiquer à Azure AI Search quel champ utiliser pour les comparaisons de vecteurs.
     • Les champ vectoriel peut être :
       • Une chaîne.
       • Une liste de chaînes de caractères.
       • Une chaîne séparée par des virgules.
5. Définir le type de requête
   • Spécifiez le type de requête comme « vecteur » pour activer les recherches basées sur les vecteurs.
6. Se connecter à Azure Chat Completion
   • Une fois configuré, connectez le Snap Azure Data Source AI Search à Azure ChatCompletion pour activer les réponses basées sur l'IA à l'aide d 'Azure OpenAI.

Étape 3 : Configurer Azure OpenAI Chat Completion

Pour terminer l'intégration et activer les réponses basées sur l'IA, suivez ces étapes pour configurer Azure OpenAI Chat Completion:

1. Configurer le champ Source de données
   • Utilisez la sortie du Snap Azure Data Source AI Search comme entrée pour Azure OpenAI Chat Completion.
2. Configurer la dépendance du modèle d'intégration
   • Assurez-vous que le même modèle d'intégration utilisé pour vectoriser les données est référencé dans Azure OpenAI.
   • Cette étape est cruciale pour obtenir des comparaisons précises de similarité vectorielle et des performances de recherche optimales.
3. Fournir l'invite
   • Définissez l'invite qui sera utilisée pour interroger le modèle d'IA.
   • Veillez à ce que l'invite soit structurée de manière à exploiter efficacement les données vectorielles récupérées pour obtenir des réponses optimales de l'IA.

Utilisation des requêtes sémantiques dans Azure AI Search

Étape 1 : Configurer Azure AI Search

1. Accéder à Azure AI Search
   • Accédez au service Azure AI Search dans le portail Azure.
2. Sélectionnez l'index
   • Choisissez l'index que vous souhaitez utiliser pour la recherche sémantique.
3. Créer une configuration sémantique
   • Définissez une nouvelle configuration sémantique pour l'index sélectionné.
4. Configurer les champs sémantiques
   • Indiquez les champs obligatoires :
     • Champ Titre – Représente le titre du document.
     • Champ de contenu – Contient le corps principal du document.
     • Champ Mots-clés – Comprend les termes clés pour une correspondance sémantique améliorée.
5. Enregistrer la configuration
   • Une fois tous les champs attribués, enregistrez la configuration.
   • Votre index est désormais prêt pour la recherche sémantique.

Étape 2 : Configurer le Snap Azure Data Source AI Search

1. Modifier le type de requête
   • Définissez le type de requête sur « sémantique » pour activer les fonctionnalités de recherche sémantique.
2. Spécifiez la configuration sémantique
   • Entrez le nom de la configuration sémantique créé dans Azure AI Search.
3. Se connecter à Azure OpenAI Chat Completion
   • Liez le Snap Azure Data Source AI Search à Azure OpenAI ChatCompletion.
   • Cette intégration permet à la recherche sémantique d'améliorer la précision et la pertinence des réponses générées par l'IA.

Personnalisation des résultats de recherche dans Azure AI Search

Pour affiner et améliorer encore la précision et la pertinence des recherches, Azure AI Search permet aux utilisateurs de personnaliser leurs requêtes à l'aide de types de requêtes hybrides et de filtres.

Types de requêtes hybrides

Azure AI Search prend en charge la recherche hybride, qui permet de combiner différents types de requêtes afin d'améliorer les résultats de recherche :

1. Hybride de requêtes vectorielles et simples
   • Cela combine la similarité vectorielle avec la recherche traditionnelle par mots-clés, garantissant à la fois la pertinence sémantique et la correspondance des mots-clés textuels.
2. Hybride de requêtes vectorielles et sémantiques
   • Cette approche améliore la recherche par similarité vectorielle grâce au classement sémantique, permettant d'obtenir des résultats contextuels avec un meilleur score de pertinence.

Pour activer la recherche hybride :

• Définir le type de requête à l'une ou l'autre des options suivantes :
  • « vector_simple_hybrid »
  • « vector_semantic_hybrid »
• Cela garantit que les résultats de recherche sont un mélange des deux types de requêtes sélectionnés.

Application des filtres de recherche

Les filtres permettent d'affiner les résultats de recherche afin qu'ils correspondent à des conditions ou contraintes spécifiques.

Étapes pour appliquer des filtres :

1. Définir une condition de filtre
   • Utilisez des filtres pour restreindre les résultats en fonction de critères spécifiques, tels que des plages de dates, des catégories ou des attributs personnalisés. Veuillez vous reporter à la syntaxe des filtres dans le document Azure AI Search (https://learn.microsoft.com/en-us/azure/search/search-filters).

1. S'assurer que les champs d'index sont filtrables
   • Les filtres ne fonctionnent que si l'attribut « filterable » est activé dans les champs d'index.
   • Avant d'appliquer des filtres, vérifiez que le indice sélectionné prend en charge le filtrage.
     
2. Intégrez le filtre dans votre requête
   • Appliquez des filtres personnalisés pour affiner les résultats de recherche en fonction de vos besoins.

Conclusion

L'intégration d'Azure AI Search à Azure OpenAI offre de puissantes fonctionnalités de génération augmentée par la recherche (RAG), permettant aux organisations de créer des applications intelligentes basées sur l'IA avec des fonctionnalités de recherche améliorées. En tirant parti des requêtes de recherche vectorielles, sémantiques et hybrides, les entreprises peuvent optimiser la recherche d'informations et améliorer la pertinence des réponses générées par l'IA.

Ce guide décrit les étapes clés pour :

• Configurez Azure AI Search, y compris la recherche vectorielle et sémantique.
• Intégrez Azure Data Source AI Search Snap pour permettre une récupération transparente des données.
• Configurez Azure OpenAI Chat Completion afin de garantir que les réponses générées par l'IA soient contextuelles et précises.
• Personnalisez les résultats de recherche à l'aide de requêtes de recherche hybrides et de mécanismes de filtrage afin d'affiner et d'améliorer les résultats des requêtes.

En suivant ces étapes, les organisations peuvent optimiser l'efficacité d'Azure AI Search et d'OpenAI, améliorant ainsi la pertinence et la précision des recherches, ainsi que les informations fournies par l'IA pour un large éventail d'applications. Grâce à son évolutivité, sa flexibilité et son intégration avancée de l'IA, cette solution est idéale pour les entreprises qui souhaitent déployer une recherche d'entreprise de pointe et une automatisation basée sur l'IA.