Amélioration de la réponse de RAG Techniques d’autodébogage et réduction de la charge cognitive

Optimisation de la réponse de RAG techniques d'autodébogage et réduction de la charge cognitive

Demander au LLM de s’auto-diagnostiquer et de s’auto-corriger pour améliorer la qualité des réponses.

La Génération Améliorée par Récupération (GAR) est sans aucun doute un outil puissant, facilement conçu à l’aide de frameworks tels que LangChain ou LlamaIndex. Cette facilité d’intégration pourrait donner l’impression que la GAR est une solution magique facile à construire pour chaque cas d’utilisation. Cependant, dans notre parcours visant à améliorer notre outil de recherche d’articles éditoriaux pour offrir des résultats de recherche sémantiquement plus riches et des réponses directes aux requêtes, nous avons constaté que la configuration de base de la GAR était insuffisante et avons découvert de nombreux défis. Construire une GAR pour une démonstration est rapide et facile, donnant souvent des résultats suffisamment impressionnants pour un petit sous-ensemble de scénarios. Cependant, la dernière étape pour atteindre un état prêt pour la production, où une qualité exceptionnelle est obligatoire, présente des défis importants. Cela est particulièrement vrai lorsqu’il s’agit de traiter une base de connaissances vaste remplie de milliers d’articles spécifiques à un domaine, ce qui n’est pas si rare.

Notre approche de la GAR se compose de deux étapes distinctes :

1. Récupération des documents pertinents En utilisant un mélange d’incorporations denses et clairsemées, nous extrayons des morceaux de documents pertinents de notre base de données Pinecone, en tenant compte à la fois du contenu et du titre. Ces morceaux sont ensuite reclassés en fonction de leur pertinence pour le titre, le contenu et l’âge du document. Les quatre meilleurs documents sont ensuite choisis : à la fois comme résultats de recherche potentiels et comme contexte de document pour générer des réponses directes. Notons que cette approche diverge de la configuration courante de la GAR et permet de mieux résoudre nos défis uniques de récupération de documents.
2. Génération de réponses directes Ici, la question, l’instruction et les morceaux de documents préalablement récupérés parmi les quatre meilleurs (contexte du document) sont introduits dans un modèle de langage large (LLM) pour produire une réponse directe.

J’ai approfondi l’amélioration de la qualité de la récupération des documents grâce à l’utilisation de techniques de recherche hybride et de classement hiérarchique des documents lors de discussions précédentes. Dans ce blog, je souhaite partager des connaissances sur l’affinement et le dépannage de…

• NOIR, le robot contrôlé par l’IA de Stanford
• Création d’un outil de mise en correspondance pour aider les fondateurs de start-up à trouver les meilleurs incubateurs un projet indépendant de bout en bout
• Un point d’entrée dans HuggingFace

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!