Les chercheurs d’Amazon proposent KD-Boost un nouvel algorithme de distillation des connaissances conçu pour une correspondance sémantique en temps réel.

Amazon Researchers Introduce KD-Boost A New Knowledge Distillation Algorithm Designed for Real-time Semantic Matching

La recherche sur le Web et la recherche de produits sur les plateformes de commerce électronique sont deux applications principales qui dépendent d’une correspondance sémantique en temps réel précise. Dans les recherches de produits, la difficulté réside dans le rapprochement sémantique entre les requêtes des utilisateurs et les résultats associés. La procédure de correspondance se compose généralement de deux étapes : le Sourcing de produits (PS) et la Reformulation automatique des requêtes. Le sourcing de produits permet de récupérer les résultats correspondants à une requête donnée, souvent appelés produits dans le contexte de la recherche de produits. Ensuite, la reformulation automatique des requêtes convertit les requêtes mal formulées des utilisateurs en requêtes bien formulées et sémantiquement similaires pour élargir la couverture des résultats.

La correspondance sémantique est le processus par lequel les moteurs de recherche reconnaissent et associent des éléments ayant des significations comparables. Avec la correspondance sémantique, les requêtes des utilisateurs ne renvoient pas seulement n’importe quels résultats, mais les plus pertinents compte tenu du contexte. Les modèles basés sur les transformers se sont révélés très efficaces pour encoder les requêtes et les regrouper dans un espace d’incorporation avec des éléments sémantiquement liés tels que les requêtes ou les résultats. Cependant, les problèmes de latence rendent les grands modèles de transformers peu pratiques pour une correspondance en temps réel en raison de leur coût computationnel.

Pour relever ces défis, une équipe de chercheurs d’Amazon a introduit KD-Boost, une nouvelle technique de distillation des connaissances spécifiquement conçue pour résoudre les problèmes de correspondance sémantique en temps réel. KD-Boost utilise des étiquettes de vérité terrain et des étiquettes souples provenant d’un modèle enseignant pour former des modèles étudiants précis à faible latence. Les signaux de requête-produit et de requête-requête par paires, produits par des audits directs, des recherches sur les comportements des utilisateurs et des données basées sur la taxonomie, sont la source des étiquettes souples. Des fonctions de perte personnalisées ont été utilisées pour orienter correctement le processus d’apprentissage.

• Maîtriser Prompt Engineering dans les Modèles de Langage de l’IA
• Génération augmentée avec récupération grâce à LangChain, Amazon SageMaker JumpStart et recherche sémantique MongoDB Atlas
• Créez un bot de service client basé sur un modèle de fondation (FM) avec des agents pour Amazon Bedrock.

Les chercheurs ont partagé que l’étude a utilisé diverses sources de signaux de similarité et de dissimilarité pour répondre aux besoins combinés de la reformulation des requêtes et du sourcing de produits. Les étiquettes ordinales de pertinence éditoriale pour les paires requête-produit, les informations comportementales des utilisateurs telles que les clics et les ventes, ainsi que la taxonomie des produits, sont quelques exemples de ces signaux. Des fonctions de perte adaptées ont été utilisées pour s’assurer que le modèle apprend des représentations pouvant capturer avec précision les subtilités de la pertinence et de la similarité.

L’équipe a partagé que des tests ont été réalisés sur des ensembles de données internes et externes de commerce électronique, qui ont démontré une amélioration significative de 2 à 3% de la ROC-AUC (Caractéristique de fonctionnement du récepteur – Surface sous la courbe) par rapport à l’entraînement direct du modèle étudiant. KD-Boost a démontré de meilleures performances que les références en matière de distillation des connaissances et les modèles enseignants.

Des résultats prometteurs ont été observés lors de tests A/B en ligne simulés utilisant KD-Boost pour la reformulation automatique des requêtes. La correspondance requête-requête a augmenté de 6,31%, ce qui suggère une meilleure compréhension sémantique. Il y a également eu une amélioration de 2,19% de la pertinence, montrant des correspondances plus précises et contextualisées, ainsi qu’une augmentation de 2,76% de la couverture des produits, indiquant une plus grande variété de résultats pertinents.

En conclusion, cette étude a abordé les problèmes de latence associés aux recherches approfondies de produits, en mettant l’accent sur l’amélioration à la fois des activités de sourcing de produits et de reformulation automatique des requêtes. Elle a reconnu les limites des modèles actuels basés sur les transformers et a contribué à étudier l’utilisation de la distillation des connaissances comme solution.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!