Découvrez comment Amazon Pharmacy a créé leur chatbot basé sur le Machine Learning en utilisant Amazon SageMaker.

Découvrez comment Amazon Pharmacy a créé son chatbot basé sur le Machine Learning grâce à Amazon SageMaker.

Amazon Pharmacy est une pharmacie à service complet sur Amazon.com qui offre des prix transparents, un soutien clinique et client, ainsi qu’une livraison gratuite directement à votre porte. Les agents du service client jouent un rôle crucial dans la récupération rapide et précise des informations liées à la pharmacie, y compris les clarifications et les statuts de transfert des ordonnances, les détails de commande et de dispensation, ainsi que les informations sur le profil du patient, en temps réel. Amazon Pharmacy propose une interface de chat où les clients (patients et médecins) peuvent discuter en ligne avec des représentants du service client. Un défi auquel les agents sont confrontés est de trouver les informations précises lorsqu’ils répondent aux questions des clients, car la diversité, le volume et la complexité des processus de soins de santé (comme l’explication des autorisations préalables) peuvent être intimidants. Trouver les bonnes informations, les résumer et les expliquer prend du temps, ralentissant la vitesse de prise en charge des patients.

Pour relever ce défi, Amazon Pharmacy a développé un assistant de chatbot de questions-réponses (Q&R) basé sur l’intelligence artificielle générative pour permettre aux agents de récupérer des informations par des recherches en langage naturel en temps réel, tout en préservant l’interaction humaine avec les clients. La solution est conforme à l’HIPAA, garantissant la confidentialité des clients. De plus, les agents soumettent leurs commentaires sur les réponses générées par la machine à l’équipe de développement d’Amazon Pharmacy, afin qu’ils puissent être utilisés pour les améliorations futures du modèle.

Dans cet article, nous décrivons comment Amazon Pharmacy a mis en place son assistant d’agent de service client grâce à l’utilisation des produits d’IA d’AWS, y compris les modèles de base dans Amazon SageMaker JumpStart pour accélérer son développement. Nous commençons par mettre en avant l’expérience générale de l’agent de service client avec l’ajout du chatbot basé sur le modèle de langage volumineux (LLM). Ensuite, nous expliquons comment la solution utilise le modèle de génération augmenté par recherche (RAG) pour sa mise en œuvre. Enfin, nous décrivons l’architecture du produit. Cet article démontre comment l’IA générative est intégrée dans une application déjà en fonctionnement dans un secteur d’activité complexe et hautement réglementé, améliorant l’expérience de prise en charge des clients de la pharmacie.

Le chatbot Q&R basé sur le LLM

La figure suivante montre le flux de processus d’un patient contactant le service client d’Amazon Pharmacy via le chat (étape 1). Les agents utilisent une interface utilisateur séparée pour poser des questions au chatbot Q&R basé sur le LLM (étape 2). L’interface utilisateur du service client envoie ensuite la demande à un backend de service hébergé sur AWS Fargate (étape 3), où les requêtes sont orchestrées à travers une combinaison de modèles et de processus de récupération de données, collectivement appelée processus RAG. Ce processus est le cœur de la solution de chatbot basée sur le LLM et ses détails sont expliqués dans la section suivante. A la fin de ce processus, la réponse générée par la machine est renvoyée à l’agent, qui peut la vérifier avant de la transmettre au client final (étape 4). Il convient de noter que les agents sont formés pour exercer leur jugement et utiliser la solution de chatbot basée sur le LLM comme un outil qui complète leur travail, afin de pouvoir consacrer leur temps aux interactions personnelles avec le client. Les agents attribuent également une étiquette à la réponse générée par la machine avec leurs commentaires (par exemple, positifs ou négatifs). Ces commentaires sont ensuite utilisés par l’équipe de développement d’Amazon Pharmacy pour améliorer la solution (par le biais d’un ajustement fin ou d’améliorations des données), formant ainsi un cycle continu de développement de produit avec l’utilisateur (étape 5).

• La mise à jour du NVIDIA RTX Video Super Resolution améliore la qualité de la vidéo, la préservation des détails et s’étend aux cartes graphiques GeForce RTX de la série 20.
• Performance impressionnante les grands modèles de langage sont jusqu’à 4 fois plus rapides sur RTX avec TensorRT-LLM pour Windows
• Insectes Cyborgs Vers un mouvement précis

La figure suivante montre un exemple d’interaction entre un chatbot Q&R et un agent. Ici, l’agent demandait un code de rejet de demande de remboursement. Le chatbot Q&R (Assistant IA de l’Agent) répond à la question avec une description claire du code de rejet. Il fournit également le lien vers la documentation originale pour que les agents puissent y accéder si nécessaire.

Accélérer le développement du modèle d’apprentissage automatique

Dans la figure précédente représentant le flux de travail du chatbot, nous avons omis les détails de la formation de la version initiale des modèles de chatbot Q&A. Pour ce faire, l’équipe de développement d’Amazon Pharmacy a bénéficié de l’utilisation de SageMaker JumpStart. SageMaker JumpStart a permis à l’équipe d’expérimenter rapidement avec différents modèles, en exécutant différentes références et tests, en échouant rapidement si nécessaire. L’échec rapide est un concept pratiqué par les scientifiques et les développeurs pour construire rapidement des solutions aussi réalistes que possible et apprendre de leurs efforts pour les améliorer dans la prochaine itération. Après que l’équipe ait décidé du modèle et réalisé tout ajustement et personnalisation nécessaire, ils ont utilisé l’hébergement SageMaker pour déployer la solution. La réutilisation des modèles de base dans SageMaker JumpStart a permis à l’équipe de développement de gagner des mois de travail qui auraient autrement été nécessaires pour former les modèles à partir de zéro.

Le schéma de conception RAG

Une partie essentielle de la solution est l’utilisation du schéma de conception Retrieval Augmented Generation (RAG) pour la mise en œuvre des solutions Q&A. La première étape de ce schéma consiste à identifier un ensemble de paires de questions et réponses connues, qui constituent la vérité de base initiale de la solution. La prochaine étape consiste à convertir les questions en une meilleure représentation dans le but de la similitude et de la recherche, ce qui est appelé l’incorporation (nous incorporons un objet de dimension supérieure dans un hyperplan avec moins de dimensions). Cela se fait à l’aide d’un modèle de base spécifique à l’incorporation. Ces incorporations sont utilisées comme index pour les réponses, un peu comme un index de base de données associe une clé primaire à une ligne. Nous sommes maintenant prêts à prendre en charge de nouvelles requêtes provenant des clients. Comme expliqué précédemment, l’expérience montre que les clients envoient leurs requêtes aux agents, qui interagissent ensuite avec le chatbot basé sur LLM. Dans le chatbot Q&A, la requête est convertie en une incorporation, puis utilisée comme clé de recherche pour un index correspondant (étape précédente). Le critère de correspondance est basé sur un modèle de similarité, tel que FAISS ou Amazon Open Search Service (pour plus de détails, voir Amazon OpenSearch Service’s vector database capabilities explained). Lorsqu’il y a des correspondances, les meilleures réponses sont récupérées et utilisées comme contexte d’invite pour le modèle génératif. Cela correspond à la deuxième étape du schéma RAG – l’étape générative. À cette étape, l’invite est envoyée au LLM (modèle de base générateur), qui compose la réponse générée par machine finale à la question originale. Cette réponse est renvoyée via l’interface utilisateur de service client à l’agent, qui valide la réponse, l’édite si nécessaire, et la renvoie au patient. Le diagramme suivant illustre ce processus.

Gestion de la base de connaissances

Comme nous l’avons appris avec le schéma RAG, la première étape de la réalisation d’un Q&A consiste à récupérer les données (les paires de questions et réponses) à utiliser comme contexte pour l’invite de LLM. Ces données sont appelées la base de connaissances du chatbot. Des exemples de ces données sont les procédures opérationnelles standard internes d’Amazon Pharmacy (SOP) et les informations disponibles dans le centre d’aide d’Amazon Pharmacy. Pour faciliter l’indexation et le processus de récupération (comme décrit précédemment), il est souvent utile de regrouper toutes ces informations, qui peuvent être hébergées dans différentes solutions telles que des wikis, des fichiers et des bases de données, dans un seul référentiel. Dans le cas particulier du chatbot Amazon Pharmacy, nous utilisons Amazon Simple Storage Service (Amazon S3) à cette fin en raison de sa simplicité et de sa flexibilité.

Aperçu de la solution

La figure suivante montre l’architecture de la solution. L’application de service client et le chatbot basé sur LLM pour les questions et réponses sont déployés dans leur propre VPC pour l’isolation du réseau. La connexion entre les points de terminaison VPC est réalisée via AWS PrivateLink, garantissant leur confidentialité. Le chatbot Q&A dispose également de son propre compte AWS pour la séparation des rôles, l’isolation et la facilité de surveillance à des fins de sécurité, de coût et de conformité. La logique d’orchestration du chatbot Q&A est hébergée dans Fargate avec Amazon Elastic Container Service (Amazon ECS). Pour configurer PrivateLink, un équilibreur de charge réseau redirige les demandes vers un équilibreur de charge d’application, qui interrompt la connexion TLS du client final et transfère les demandes à Fargate. Le service de stockage principal est Amazon S3. Comme mentionné précédemment, les données d’entrée associées sont importées dans le format souhaité à l’intérieur du compte du chatbot Q&A et sont persistées dans des compartiments S3.

En ce qui concerne l’infrastructure d’apprentissage automatique (ML), Amazon SageMaker est au centre de l’architecture. Comme expliqué dans les sections précédentes, deux modèles sont utilisés, le modèle d’embedding et le modèle LLM, et ceux-ci sont hébergés dans deux points de terminaison SageMaker distincts. En utilisant la fonctionnalité de capture de données de SageMaker data capture, nous pouvons enregistrer toutes les demandes et réponses d’inférence à des fins de dépannage, avec les contraintes de confidentialité et de sécurité nécessaires en place. Ensuite, les commentaires recueillis auprès des agents sont stockés dans un compartiment S3 distinct.

Le chatbot Q&A est conçu pour être une solution multi-locataire et prendre en charge d’autres produits de santé d’Amazon Health Services, tels que Amazon Clinic. Par exemple, la solution est déployée avec les modèles AWS CloudFormation pour l’infrastructure en tant que code (IaC), ce qui permet d’utiliser différentes bases de connaissances.

Conclusion

Cet article présente la solution technique pour les améliorations du service client de génération d’IA d’Amazon Pharmacy. La solution se compose d’un chatbot de questions-réponses implémentant le schéma de conception RAG sur SageMaker et de modèles de base dans SageMaker JumpStart. Grâce à cette solution, les agents du service client peuvent aider les patients plus rapidement, tout en fournissant des réponses précises, informatives et concises.

L’architecture utilise des microservices modulaires avec des composants distincts pour la préparation et le chargement de la base de connaissances, la logique du chatbot (instruction), l’indexation et la récupération des embeddings, la génération du contenu LLM et la supervision des commentaires. Ce dernier est particulièrement important pour les améliorations continues du modèle. Les modèles de base dans SageMaker JumpStart sont utilisés pour des expérimentations rapides, avec le service de modélisation réalisé via les points de terminaison SageMaker. Enfin, le serveur de chatbot conforme à la norme HIPAA est hébergé sur Fargate.

En résumé, nous avons vu comment Amazon Pharmacy utilise l’IA générative et AWS pour améliorer le service client en accordant la priorité aux principes et pratiques d’IA responsables.

Vous pouvez commencer à expérimenter les modèles de base dans SageMaker JumpStart dès aujourd’hui pour trouver les modèles de base adaptés à votre cas d’utilisation et commencer à construire votre application d’IA générative sur SageMaker.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!