Les chercheurs d’Amazon proposent KD-Boost un nouvel algorithme de distillation des connaissances conçu pour une correspondance sémantique en temps réel.

Amazon Researchers Introduce KD-Boost A New Knowledge Distillation Algorithm Designed for Real-time Semantic Matching

La recherche sur le Web et la recherche de produits sur les plateformes de commerce électronique sont deux applications principales qui dépendent d’une correspondance sémantique en temps réel précise. Dans les recherches de produits, la difficulté réside dans le rapprochement sémantique entre les requêtes des utilisateurs et les résultats associés. La procédure de correspondance se compose généralement de deux étapes : le Sourcing de produits (PS) et la Reformulation automatique des requêtes. Le sourcing de produits permet de récupérer les résultats correspondants à une requête donnée, souvent appelés produits dans le contexte de la recherche de produits. Ensuite, la reformulation automatique des requêtes convertit les requêtes mal formulées des utilisateurs en requêtes bien formulées et sémantiquement similaires pour élargir la couverture des résultats.

La correspondance sémantique est le processus par lequel les moteurs de recherche reconnaissent et associent des éléments ayant des significations comparables. Avec la correspondance sémantique, les requêtes des utilisateurs ne renvoient pas seulement n’importe quels résultats, mais les plus pertinents compte tenu du contexte. Les modèles basés sur les transformers se sont révélés très efficaces pour encoder les requêtes et les regrouper dans un espace d’incorporation avec des éléments sémantiquement liés tels que les requêtes ou les résultats. Cependant, les problèmes de latence rendent les grands modèles de transformers peu pratiques pour une correspondance en temps réel en raison de leur coût computationnel.

Pour relever ces défis, une équipe de chercheurs d’Amazon a introduit KD-Boost, une nouvelle technique de distillation des connaissances spécifiquement conçue pour résoudre les problèmes de correspondance sémantique en temps réel. KD-Boost utilise des étiquettes de vérité terrain et des étiquettes souples provenant d’un modèle enseignant pour former des modèles étudiants précis à faible latence. Les signaux de requête-produit et de requête-requête par paires, produits par des audits directs, des recherches sur les comportements des utilisateurs et des données basées sur la taxonomie, sont la source des étiquettes souples. Des fonctions de perte personnalisées ont été utilisées pour orienter correctement le processus d’apprentissage.

Les chercheurs ont partagé que l’étude a utilisé diverses sources de signaux de similarité et de dissimilarité pour répondre aux besoins combinés de la reformulation des requêtes et du sourcing de produits. Les étiquettes ordinales de pertinence éditoriale pour les paires requête-produit, les informations comportementales des utilisateurs telles que les clics et les ventes, ainsi que la taxonomie des produits, sont quelques exemples de ces signaux. Des fonctions de perte adaptées ont été utilisées pour s’assurer que le modèle apprend des représentations pouvant capturer avec précision les subtilités de la pertinence et de la similarité.

L’équipe a partagé que des tests ont été réalisés sur des ensembles de données internes et externes de commerce électronique, qui ont démontré une amélioration significative de 2 à 3% de la ROC-AUC (Caractéristique de fonctionnement du récepteur – Surface sous la courbe) par rapport à l’entraînement direct du modèle étudiant. KD-Boost a démontré de meilleures performances que les références en matière de distillation des connaissances et les modèles enseignants.

Des résultats prometteurs ont été observés lors de tests A/B en ligne simulés utilisant KD-Boost pour la reformulation automatique des requêtes. La correspondance requête-requête a augmenté de 6,31%, ce qui suggère une meilleure compréhension sémantique. Il y a également eu une amélioration de 2,19% de la pertinence, montrant des correspondances plus précises et contextualisées, ainsi qu’une augmentation de 2,76% de la couverture des produits, indiquant une plus grande variété de résultats pertinents.

En conclusion, cette étude a abordé les problèmes de latence associés aux recherches approfondies de produits, en mettant l’accent sur l’amélioration à la fois des activités de sourcing de produits et de reformulation automatique des requêtes. Elle a reconnu les limites des modèles actuels basés sur les transformers et a contribué à étudier l’utilisation de la distillation des connaissances comme solution.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Informatique

Mercedes va intégrer ChatGPT dans ses voitures.

Le constructeur automobile allemand Mercedes-Benz s'est associé à Microsoft pour ajouter le logiciel d'intelligence a...

Actualités sur l'IA

Meilleurs générateurs d'images d'IA (juillet 2023)

Le paysage de nombreuses entreprises est en train de changer en raison de l’intelligence artificielle, et la cr...

AI

Des chercheurs de l'UCLA et de CMU présentent Stormer des réseaux neuronaux Transformer évolutifs pour une prévision météorologique de moyenne portée habile et fiable.

Un des principaux problèmes auxquels la science et la société sont confrontées aujourd’hui est la prévision mét...

AI

Des chercheurs du MIT présentent PhotoGuard un nouvel outil d'IA qui empêche la manipulation non autorisée d'images.

Dans un monde où les technologies alimentées par l’IA peuvent créer des images qui brouillent la frontière entr...

AI

Cet article sur l'IA propose AugGPT une approche d'augmentation de données textuelles basée sur ChatGPT.

Le NLP, ou Traitement du Langage Naturel, est un domaine de l’IA axé sur l’interaction homme-machine en u...