Intégrer les grands modèles de langage (LLM) dans les applications commerciales du monde réel

Intégration des LLM dans applications commerciales réelles

Les grands modèles linguistiques sont partout. Chaque conversation avec un client ou présentation devant un VC implique des questions sur la préparation de la technologie LLM et sur la manière dont elle stimulera les futures applications. J’ai abordé certains modèles à ce sujet dans mon précédent article. Ici, je vais parler de certains modèles réels pour une application dans l’industrie pharmaceutique sur laquelle Persistent Systems a travaillé.

Grands modèles linguistiques et forces principales

Les LLM sont doués pour comprendre le langage, c’est leur domaine de prédilection. Le modèle le plus courant que nous observons avec les applications est la génération augmentée par récupération (RAG), où les connaissances sont compilées à partir de sources de données et fournies en contexte en tant que stimulus pour que le LLM paraphrase une réponse. Dans ce cas, des mécanismes de recherche ultra-rapides tels que les bases de données vectorielles et les moteurs basés sur Elasticsearch servent de première ligne de recherche. Ensuite, les résultats de la recherche sont compilés dans un stimulus et envoyés au LLM principalement sous forme d’appel API.

Un autre modèle consiste à générer une requête sur des données structurées en alimentant le LLM avec un modèle de données en tant que stimulus et une requête utilisateur spécifique. Ce modèle pourrait être utilisé pour développer une interface avancée de type “parlez à vos données” pour les bases de données SQL comme Snowflake, ainsi que pour les bases de données graphiques comme Neo4j.

Exploiter les modèles LLM pour des connaissances du monde réel

Persistent Systems a récemment étudié un modèle pour Blast Motion, une entreprise de télémétrie sportive (analyse de swing pour le baseball, le golf, etc.), où nous avons analysé des données chronologiques de résumés de joueurs pour obtenir des recommandations.

• Optimisation de l’algorithme Java ZGC
• Comment l’IA transforme-t-elle la gestion personnelle des connaissances ?
• Unis nous résistons, divisés nous tombons CoTracker est une approche d’IA qui suit conjointement plusieurs points dans une vidéo.

Pour des applications plus complexes, nous avons souvent besoin de chaîner les requêtes LLM avec des traitements intermédiaires. Pour une entreprise pharmaceutique, nous avons développé une application intelligente de suivi qui filtre les patients pour les essais cliniques en fonction des critères extraits du document d’essai clinique. Nous avons utilisé ici une approche de chaînage de LLM. Tout d’abord, nous avons développé un LLM pour lire le document PDF de l’essai et utiliser le modèle RAG pour extraire les critères d’inclusion et d’exclusion.

Pour cela, nous avons utilisé un LLM relativement plus simple comme GPT-3.5-Turbo (ChatGPT). Ensuite, nous avons combiné ces entités extraites avec le modèle de données de la base de données SQL des patients dans Snowflake pour créer un stimulus. Ce stimulus, alimenté à un LLM plus puissant comme GPT4, nous donne une requête SQL pour filtrer les patients, prête à être exécutée sur Snowflake. Comme nous utilisons le chaînage de LLM, nous pouvons utiliser plusieurs LLM pour chaque étape de la chaîne, ce qui nous permet de gérer les coûts.

Actuellement, nous avons décidé de garder cette chaîne déterministe pour un meilleur contrôle. Autrement dit, nous avons décidé d’avoir plus d’intelligence dans les chaînes et de maintenir l’orchestration très simple et prévisible. Chaque élément de la chaîne constitue en soi une application complexe qui prendrait plusieurs mois à développer à l’époque précédant les LLM.

Alimenter des cas d’utilisation plus avancés

Pour un cas plus avancé, nous pourrions utiliser des agents comme ReAct pour inciter le LLM à créer des instructions étape par étape à suivre pour une requête utilisateur spécifique. Cela nécessiterait bien sûr un LLM haut de gamme comme GPT4, Cohere ou Claude 2. Cependant, il existe alors un risque que le modèle fasse une étape incorrecte qui devra être vérifiée à l’aide de garde-fous. Il s’agit d’un compromis entre déplacer l’intelligence dans des liens contrôlables de la chaîne ou rendre l’ensemble de la chaîne autonome.

Aujourd’hui, alors que nous nous habituons à l’ère de l’IA générative pour le langage, l’industrie commence à adopter des applications LLM avec des chaînes prévisibles. À mesure que cette adoption se développe, nous commencerons bientôt à expérimenter une plus grande autonomie pour ces chaînes via des agents. C’est ce dont traite le débat sur l’AGI et nous sommes intéressés de voir comment tout cela évolue avec le temps.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!