Découverte de produits alimentée par LLM un bond au-delà de la recherche hybride

Découverte de produits alimentée par LLM - un bond au-delà de la recherche hybride

Dans cette ère en constante évolution de technologies de pointe, le monde est plongé dans la vague de LLM, générant de nouvelles idées révolutionnant notre quotidien. Alors que l’internet regorge de nombreuses solutions et possibilités de niche, nous nous trouvons au seuil d’un paysage numérique transformateur.

Cette série de blogs se lance dans une exploration de la découverte de produits/contenus, s’efforçant non seulement d’offrir des perspectives précieuses, mais aussi d’éclairer les limitations pratiques dans ce domaine. Comme souligné tout au long de la série, le contexte joue un rôle crucial dans ce domaine, et nous avons étudié l’efficacité et le fonctionnement à la fois des systèmes de recherche sémantique et de recherche hybride.

Contexte est le roi – L’art et la science de la découverte de contenu

– Explorer la puissance des Transformers, GPT et des moteurs de recherche hybrides pour révolutionner la découverte de contenu

VoAGI.com

Recherche hybride – Une amalgame de représentations vectorielles éparse et denses pour du contenu actif…

– Unir la signification des données avec la métadonnée pour tirer parti du contexte plus profond

VoAGI.com

• Du Chaos à l’Ordre Exploiter le regroupement de données pour une prise de décision améliorée
• A l’intérieur de SDXL 1.0 AI de stabilité, nouveau modèle super Texte-vers-Image
• Des chercheurs mettent en évidence les failles des contrôles de sécurité de ChatGPT et d’autres Chatbots

De plus, la série a brièvement abordé la redéfinition de la découverte de contenu et de la recherche de produits grâce aux capacités puissantes de LLM (apprentissage basé sur des modèles linguistiques). Dans ce billet en particulier, notre attention se portera sur la découverte alimentée par LLM, en ciblant spécifiquement la recherche active/découverte explicite pour combler le fossé entre les paradigmes de recherche hybride et de recherche LLM.

À présent, il devrait être évident que la véritable valeur de LLM réside dans sa capacité remarquable à généraliser et à appliquer des connaissances dans un contexte mondial plus large, nous rapprochant ainsi de résultats impressionnants grâce à des interactions plus naturelles. Le contexte continue d’être un facteur important dans le processus de découverte, englobant non seulement le micro-contexte sémantique profond du contenu, mais aussi l’aspect vital de développer une conscience du contexte utilisateur évolutif au fil du temps.

De la découverte de contenu à la découverte de connaissances et des filtres de recherche au langage naturel – Libérer le…

Si vous avez suivi ma série de blogs en commençant par “Contexte est le roi !” jusqu’à “À partir de mots-clés…

VoAGI.com

En approfondissant le sujet, je découvre plusieurs contributions cruciales de LLM dans le domaine de la découverte, en particulier dans le contexte de la recherche active :

Découverte de contenu axée sur les connaissances utilisant LLM – Les LLM avec le pipeline RAG (Retrieval Augmented Generation) possèdent la capacité d’exploiter efficacement les connaissances sous-jacentes riches présentes dans le référentiel de documents. Grâce à cela, on peut efficacement mettre en évidence les connaissances pertinentes aux côtés des documents sources. Cette approche révolutionnaire de découverte de contenu axée sur les connaissances est d’une grande applicabilité dans les applications axées sur les documents, telles que les plateformes d’apprentissage comme Coursera, Duo lingo et les systèmes de gestion de contenu en ligne comme VoAGI, YouTube et WordPress. De plus, elle étend ses avantages aux applications d’entreprise telles que Sharepoint et Confluence, qui hébergent des référentiels de documents commerciaux essentiels.

Un exemple de scénario pourrait être : Utilisateur : “Puis-je reporter tous mes congés accumulés l’année prochaine ?” Bot : “Oui, vous pouvez reporter jusqu’à 10 congés accumulés l’année prochaine. Consultez ces documents pour plus de détails : Oranization_Leave_Policy_2023.pdf

En exploitant le contexte micro-sémantique inhérent au contenu, cette approche ouvre de nouveaux horizons pour une recherche d’informations améliorée et une découverte de contenu plus instructive.

Découverte de produits/individus axée sur les métadonnées avec LLM – Qu’il s’agisse d’attributs de produits riches sur une plateforme de commerce électronique ou d’attributs significatifs de profil utilisateur sur une application de médias sociaux, l’abondance de métadonnées peut améliorer considérablement la pertinence contextuelle dans le spectre plus large offert par LLM. Cette convergence d’attributs d’entités avec le contenu ressemble aux capacités d’un système de recherche hybride, exploitant la puissance combinée des contextes sémantiques et textuels littéraux. Consultez mes billets de blog précédents qui explorent cet aspect.

Pour répondre efficacement à la recherche hybride avec le contexte sémantique augmenté dans la requête et les filtres de recherche, l’utilisation de bases de données vectorielles telles que Pinecone, Weaviate ou Solr devient essentielle.

L’intégration de LLM peut élever l’expérience de recherche à de nouveaux sommets, en capitalisant sur les avantages qu’il apporte. Voici quelques idées qui pourraient potentiellement se concrétiser :

a. Amélioration de la représentation sémantique avec LLM : Les modèles GPT offrent une compréhension contextuelle supérieure par rapport à BERT. Alors que les modèles GPT, y compris le GPT-3 d’OpenAI, sont basés sur une architecture de transformer et prédisent le mot suivant dans une séquence, BERT se concentre sur des représentations de mots ou de phrases de longueur fixe sans contexte. Cette différence rend les modèles GPT plus cohérents et contextuellement appropriés dans la génération de texte, en tenant compte de tout le contexte précédent pour les prédictions.

b. Métadonnées produit étendues enrichies par LLM : Les LLM démontrent une capacité exceptionnelle à générer des descriptions de produits complètes et naturelles, englobant toutes les métadonnées pertinentes. Par exemple :

Description d’exemple dans l’index de recherche pour un produit de cuisine : Présentation du ToastMaster 3000 – un grille-pain efficace et élégant avec une technologie de grillage avancée, des fentes larges et un puissant élément de chauffage de 1200 watts. Disponible en acier inoxydable classique, cet appareil de cuisine est facile à entretenir. Améliorez votre routine matinale dès aujourd’hui !

Cette approche se révèle très avantageuse pour la mise en correspondance des requêtes utilisateur, en particulier celles qui sont ambiguës ou exprimées en anglais simple, sans valeurs acceptables spécifiques pour le filtrage. En adoptant cette approche et en éliminant les filtres de recherche avancés fastidieux, l’expérience de recherche devient fluide et conviviale. Les utilisateurs peuvent trouver facilement et précisément ce qu’ils recherchent, même dans des scénarios de recherche complexes et incertains. L’utilisation de la représentation en langage naturel permet une interaction utilisateur fluide, rendant la découverte de produits facile et améliorant la satisfaction générale des utilisateurs.

c. Expansion de la requête avec LLM : En effet, les LLM peuvent jouer un rôle crucial dans la génération de chaînes descriptives qui élargissent la requête d’un utilisateur. Lorsque l’objectif est la découverte de contenu, les LLM peuvent aller plus loin en exploitant les intérêts inhérents de l’utilisateur, les sujets ou les idées conceptuelles. Ces informations extraites peuvent ensuite être concaténées à la requête originale de l’utilisateur, permettant une couverture de recherche plus complète et étendue.

La requête originale de l’utilisateur pourrait ressembler à ceci : facile à nettoyer, petit grille-pain à grande capacité La requête améliorée par LLM pourrait ressembler à ceci : Un petit grille-pain qui nécessite un entretien minimal tout en offrant une grande capacité de grillage pour une préparation du petit-déjeuner efficace et pratique.

En incorporant ces éléments supplémentaires, les LLM facilitent une exploration plus large du contenu pertinent, garantissant aux utilisateurs une diversité de résultats étroitement alignés sur leurs préférences et leurs intérêts. Cette approche améliore considérablement le processus de découverte de contenu, offrant aux utilisateurs une expérience de recherche plus personnalisée et enrichissante.

Réordonnancement des résultats de recherche avec LLM : En effet, il existe des projets actifs où les LLM peuvent être utilisés pour générer des classements de pertinence pour les résultats de recherche. En exploitant la capacité puissante des LLM à généraliser de manière holistique les requêtes utilisateur par rapport aux descriptions des candidats et à raisonner leur pertinence, ces projets visent à améliorer la précision et la précision des résultats de recherche. En utilisant les connaissances capturées par les LLM, le processus de classement devient plus informé et conscient du contexte, ce qui donne une liste plus affinée de résultats pertinents adaptés à l’intention de l’utilisateur.

Découverte avec une interface entièrement naturelle activée par LLM : Cela peut être considéré comme un grand pas en avant pour transcender les frictions causées par les boîtes de recherche traditionnelles, les filtres et les contrôles de pagination. En adoptant une interface en langage naturel, l’approche “Parlez à vos données”, renforcée par les LLM, prend une place centrale. En tirant parti des capacités de génération incroyables des LLM, l’agent de recherche génère des requêtes pour interagir avec les bases de données et récupère les résultats les plus pertinents, correspondant aux requêtes et au contexte fournis par l’utilisateur pendant la conversation. Dites adieu aux contraintes des interfaces de recherche conventionnelles et accueillez une nouvelle ère d’exploration intuitive et conversationnelle !

Un exemple de découverte basée sur une interface de conversation pourrait ressembler à cela : Utilisateur : Je cherche un grille-pain pour ma cuisine Requête générée par le bot : product_category : kitchen appliance & product_type: toaster <résultats récupérés affichés à l’utilisateur> Utilisateur : montrez-moi seulement la taille la plus petite Requête générée par le bot : product_category : kitchen appliance & product_type: toaster & slot_size:2 <résultats correspondants affichés à l’utilisateur> Utilisateur : j’espère qu’ils ont une faible puissance ? Requête générée par le bot : product_category : kitchen appliance & product_type: toaster & slot_size:2 & current_capacity: 800 watts <résultats correspondants affichés à l’utilisateur>

Note : Observez que le contexte de la requête de l’utilisateur se construit au fur et à mesure de l’interaction !

Détails de mise en œuvre pour la découverte de produits alimentée par LLM dans une interface utilisateur conversationnelle (CUI) :

Communiquer avec les données en langage naturel :

Indépendamment du fait que les données soient stockées dans une base de données vectorielle ou toute autre base de données structurée, les LLM ont une capacité remarquable à générer des requêtes pour elles en fonction du contexte du langage naturel. L’avantage clé de cette approche est la capacité à étendre progressivement le contexte de la requête au cours d’une conversation. En utilisant un simple processus d’ingénierie de la requête avec quelques exemples à faible teneur, des requêtes de haute qualité peuvent être générées, ce qui permet de récupérer automatiquement des résultats pertinents à partir de la base de données.

De plus, l’incorporation de la conversation historique en tant que mémoire à la requête permet de synthétiser des requêtes complètes, englobant tout le contexte de la requête augmenté par la requête de l’utilisateur et les filtres exprimés pour affiner l’ensemble des résultats. Ce processus de génération de requêtes flexible et dynamique facilite une interaction plus intuitive et conversationnelle avec les données, débloquant ainsi un nouveau niveau de compréhension et de pertinence contextuelles.

Examinons maintenant les étapes détaillées de la mise en œuvre :

1. Prétraitement des données : Générer un résumé complet du produit en texte naturel, qui englobe toutes les métadonnées. L’utilisation de LLM pour cette étape est également impérative, compte tenu de sa domination prouvée.
2. Génération d’intégrations sémantiques alimentées par le modèle GPT. Génération d’une représentation vectorielle dense des données du produit (description) ainsi que du résumé auto-généré (comme indiqué à l’étape 1). Le choix d’un point d’intégration OpenAI (text-embedding-ada-002) ou l’utilisation de Sentence transformer (all-MiniLM-L6-v2) de Huggingface sont des options préférées parmi les développeurs.
3. Indexation des intégrations sémantiques générées (à partir de l’étape précédente) dans une base de données vectorielle de choix telle que Pinecone, ChromaDb, Apache Solr, etc. Cela doit également prendre en compte les métadonnées, par exemple la catégorie de produit, le genre, la localité, les évaluations, etc., associées au vecteur de document.
4. Construction d’un synthétiseur de requêtes qui accepte une entrée en langage naturel de l’utilisateur et produit les requêtes du magasin vectoriel tel que guidé par le prompt (contenant le schéma ainsi que quelques modèles d’exemples) ainsi que la mémoire contextuelle. De plus, on peut également ajouter les sujets extraits de la requête de l’utilisateur pour déduire son intention.
5. Réévaluation de la requête : Les requêtes générées peuvent être validées à nouveau pour d’éventuelles erreurs, ainsi que soumises à une autocorrection en utilisant un autre modèle de LLM dédié à cette étape.
6. Récupérer les résultats de la base de données vectorielle, correspondant aux requêtes générées et pré-validées par LLM.
7. Présenter les résultats à l’utilisateur tout en ajoutant les entrées supplémentaires de l’utilisateur et les commentaires à la mémoire de conversation.

Et répéter les étapes 4 à 7 au fur et à mesure de l’avancement de l’interaction.

Conserver les entrées de l’utilisateur, y compris les requêtes, les filtres et les commentaires, dans la mémoire est d’une importance capitale pour étendre le contexte de la session de l’utilisateur. Lorsque l’utilisateur interagit avec les résultats de recherche et affine ses requêtes, le précieux contexte à long terme stocké dans la mémoire permet d’adapter les réponses aux besoins en évolution de manière plus efficace.

En effet, bien que le concept puisse sembler simple, je peux vous assurer que l’expérience pratique de cette approche implique une courbe d’apprentissage significative. Malgré des résultats impressionnants et prometteurs, mon expérience personnelle a révélé certains défis et imperfections. Permettez-moi de partager mes observations, en détaillant les avantages et les inconvénients de cette approche afin de fournir une compréhension plus complète de sa praticité et de ses éventuels écueils potentiels.

Avantages de la recherche conversationnelle alimentée par LLM :

1. L’offre principale de la recherche alimentée par LLM réside dans sa capacité exceptionnelle à comprendre profondément l’intention de l’utilisateur grâce à un contexte inhérent. Cette compréhension va au-delà de l’interprétation des besoins descriptifs de l’utilisateur ; elle permet d’entrelacer efficacement ces besoins avec des contextes de produits divers, couvrant des données non structurées, semi-structurées et structurées. La polyvalence et l’habileté contextuelle des LLM en font un outil indispensable pour exploiter pleinement le potentiel de l’exploration des données et enrichir l’expérience de recherche de l’utilisateur.
2. L’interaction utilisateur se fait complètement de manière naturelle, ce qui élimine les tracas liés aux menus, aux filtres et au défilement paginé. L’attente/l’intention de l’utilisateur se construit au fil du temps, au cours de plusieurs tours de conversation et des commentaires fournis par l’utilisateur dans la CUI. De cette manière, l’utilisateur n’a pas besoin de saisir des mots clés et de filtrer à plusieurs reprises (ce qui entraîne souvent des frustrations) ; plutôt, l’agent de recherche LLM peut assumer la tâche ardue de développer une compréhension contextuelle au fil des interactions en cours.
3. La recherche alimentée par LLM fait preuve de flexibilité pour s’adapter aux exigences de recherche évolutives, que ce soit en raison de mises à jour du schéma du produit ou de modifications liées à l’expérience utilisateur. La CUI permet un processus de découverte fluide et dynamique et, plus important encore, la responsabilité des mises à jour incombe principalement au modèle LLM utilisé par l’agent de recherche.

Y a-t-il des précautions à prendre avec cette approche?

1. Évolutivité et surcharge de maintenance de prompt: Exposer le schéma en tant que partie du prompt peut entraîner une fuite de jetons en raison de la longueur de contexte limitée gérée par les LLM.
2. Surcharge de maintenance: Les mises à jour continues des prompts pour les maintenir en synchronisation avec l’évolution du schéma sont une autre corvée inévitable. Pour atténuer ces problèmes, des stratégies alternatives de gestion du schéma et du prompt peuvent être explorées, garantissant une expérience de recherche LLM plus fluide et robuste.
3. Qualité de la requête avec un schéma complexe: La qualité de la requête générée est la plus efficace lorsque les données sont réparties sur un nombre limité de tables/collections. Bien qu’il soit facile de convertir le schéma pour dénormaliser la structure et inclure tous les éléments dans une seule/quelques tables ou collections, les mises à jour en cours des bases de données vectorielles ne sont toujours pas efficaces en termes de performance. La maintenance continue des éléments de données transactionnelles (comme le prix, la disponibilité, etc.) sera toujours inefficace dans les bases de données vectorielles.
4. Inexactitudes de la requête: Malgré les instructions explicites dans le prompt et les exemples élaborés dans quelques modèles d’apprentissage par transfert, les requêtes produites par les LLM contiennent encore des erreurs. Étant donné que les requêtes erronées entraînent des résultats défavorables lors de l’interaction avec la base de données, il est très important de vérifier à nouveau les requêtes générées par LLM. Une approche alternative consiste à réévaluer avec une incitation CoT (chaîne de pensée) et à corriger automatiquement les requêtes générées avec un autre appel à LLM. SelfQueryRetriever de Langchain est l’une des méthodes qui utilise cette approche.
5. Latence accrue: Les LLM sont de grands modèles linguistiques complexes et leurs calculs étendus nécessitent un temps de traitement important, ce qui entraîne une latence accrue. En raison de la taille du modèle, des limitations de jetons et des contraintes de ressources, il peut souvent y avoir des retards accrus dans la récupération des résultats évidents.
6. Risques pour la confidentialité des données: Il est impératif d’évaluer le choix des services LLM en tenant compte des problèmes de sécurité des données. Bien que l’utilisation de services LLM prêts à l’emploi semble être la solution la plus fiable, le risque potentiel d’exposition d’informations sensibles et de violations de données devient une préoccupation croissante. L’hébergement de LLM open source dans un Cloud privé virtuel (VPC) peut être une mesure efficace pour répondre aux exigences de confidentialité et de sécurité des données.
7. Coût accru: Que l’on opte pour des LLM en tant que service payant ou pour l’hébergement de LLM personnalisés sur leur propre infrastructure, il est crucial de reconnaître leur nature gourmande en ressources, ce qui a un impact direct sur les coûts.

En raison de ces défis, j’ai constamment ajusté la conception de la solution pour créer une interface texte-base de données qui se rapproche de la perfection. En effet, c’est un moment propice pour libérer la créativité et explorer les vastes possibilités des LLM.

Il y a une idée que j’ai évaluée, qui élimine le besoin de maintenir des métadonnées catégoriques et risque les résultats de la qualité des requêtes générées par LLM —

Convertir l’ensemble complet des attributs du produit en descriptions complètes en langage naturel, spécifiquement à des fins de recherche, et traiter les requêtes de recherche comme une récupération de documents purement non structurés est une option convaincante à considérer. Cette approche peut simplifier le processus de recherche et offrir des interactions plus intuitives aux utilisateurs, ce qui conduit à une meilleure découvrabilité et à une satisfaction accrue des utilisateurs. Une autre alternative, bien que difficile, est de développer des modèles LLM finement accordés indépendants pour chaque signal contextuel.

L’approche ci-dessus non seulement élimine la dépendance aux requêtes pour récupérer les données des produits, mais offre également une meilleure généralisation de ces mêmes attributs catégoriques dans un contexte mondial avec la puissance des LLM. Une approche possible pour ce mécanisme (comme je l’ai également cité dans mon précédent message) pourrait utiliser un résumé du produit généré par LLM dans la base de données de recherche. Et cela peut ressembler à ceci:

“Présentation de notre collection de jupes de fête bleues envoûtantes spécialement conçues pour les adolescents de 13 ans. Fabriquées avec soin et souci du détail, ces jupes sont l’incarnation du style et de la sophistication juvéniles. La teinte bleue vibrante ajoute une touche de vivacité à n’importe quelle tenue, en en faisant l’idéal pour les occasions spéciales, les célébrations, ou tout simplement pour se préparer à une journée amusante. Avec leur coupe confortable et leur silhouette flatteuse, ces jupes feront sentir à votre jeune fashionista confiance et prête à briller. Laissez-la mettre en valeur son sens unique du style avec ces charmantes jupes de fête bleues.”

L’utilisateur final qui recherche “jupes d’adolescent bleu marine pour anniversaire” peut obtenir non seulement le produit mentionné ci-dessus, mais aussi tous les articles pertinents correspondant à une intention similaire!

En plein milieu de cette passionnante révolution de l’IA générative, trouver un équilibre entre la créativité et une évaluation pragmatique du rapport gain-perte devient primordial. En adoptant une approche bien équilibrée, les entreprises peuvent exploiter le vaste potentiel des LLM et prendre des décisions éclairées qui ouvrent la voie à des solutions réussies et rentables.

Alors que je me plonge dans les innombrables aspects de la découverte de produits, j’explore et génère des idées innovantes pour exploiter les capacités de LLM; Je suis impatient de connaître vos perspectives ou vos contre-arguments, car cela enrichit notre compréhension et favorise une exploration plus complète de ce domaine passionnant! Restez à l’écoute et abonnez-vous pour plus d’idées captivantes et d’approches dans mes prochains articles!

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!