Améliorer les LLM avec RAG

Optimiser les LLM avec RAG

Un exemple bout en bout de voir à quel point un modèle LLM peut répondre aux questions liées à Amazon SageMaker

J’ai écrit plusieurs blogs sur VoAGI sur différents sujets techniques, et surtout sur l’hébergement de modèles d’apprentissage automatique (ML) sur Amazon SageMaker. J’ai également récemment développé un intérêt pour l’écosystème en pleine croissance des modèles d’intelligence artificielle générative/grands modèles de langage (comme tout le monde dans l’industrie lol).

Ces deux domaines différents m’ont conduit à une question intéressante. À quel point mes articles sur VoAGI sont-ils efficaces pour enseigner Amazon SageMaker ? Pour répondre à cette question, j’ai décidé de mettre en œuvre une solution d’intelligence artificielle générative utilisant la méthode Retrieval Augmented Generation (RAG) avec accès à certains de mes articles pour voir dans quelle mesure elle pourrait répondre à des questions liées à SageMaker.

Dans cet article, nous examinerons la construction d’une solution d’intelligence artificielle générative de bout en bout et utiliserons plusieurs outils populaires différents pour opérationnaliser ce flux de travail :

• LangChain : LangChain est un framework Python populaire qui simplifie les applications d’intelligence artificielle générative en fournissant des modules préfabriqués qui aident à l’ingénierie des instructions, à la mise en œuvre de RAG et à l’orchestration du flux de travail LLM.
• OpenAI : LangChain se chargera de l’orchestration de notre application d’intelligence artificielle générative, mais le modèle reste la partie centrale. Dans ce cas, nous utilisons un LLM fourni par OpenAI, mais LangChain s’intègre également à différentes sources de modèles comme SageMaker Endpoints, Cohere, etc.

REMARQUE : Cet article suppose une compréhension intermédiaire de Python et une compréhension basique de LangChain en particulier. Je suggère de suivre cet article pour mieux comprendre LangChain et construire des applications d’intelligence artificielle générative.

• Midjourney vs Stable Diffusion La Bataille des Générateurs d’Images IA
• IA et collecte de fonds La collecte de fonds a-t-elle besoin d’un élément humain?
• Apache SeaTunnel, Milvus et OpenAI améliorent la précision et l’efficacité de la recherche de similarité des titres de livres.

MENTION LÉGALE : Je suis architecte d’apprentissage automatique chez AWS et mes opinions sont les miennes.

Aperçu du problème

Les grands modèles de langage (LLM) sont intrinsèquement puissants et peuvent souvent répondre à de nombreuses questions sans l’aide d’un affinage ou de connaissances/contexte supplémentaires.

Cependant, cela peut devenir un goulot d’étranglement lorsque vous avez besoin d’accéder à d’autres sources de données spécifiques, surtout des données récentes. Par exemple, bien qu’OpenAI ait été formé sur un large corpus de données, il n’a pas connaissance de mes données récentes…

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!