Rencontrez AdANNS un nouveau cadre qui utilise des représentations adaptatives pour différentes phases des pipelines ANNS pour améliorer l’équilibre précision-calcul.

Meet AdANNS, a new framework that uses adaptive representations for different phases of ANNS pipelines to improve the balance of precision and computation.

Pour obtenir des informations comparables à une requête donnée, les moteurs de recherche web à grande échelle entraînent un encodeur à contenir la requête, puis connectent l’encodeur à une recherche d’approximation du plus proche voisin (ANNS). Les représentations apprises sont souvent des vecteurs rigides de grande dimension généralement utilisés tels quels tout au long du pipeline ANNS. Cela peut entraîner une récupération coûteuse en calcul en raison de leur capacité à capturer avec précision les requêtes de queue et les points de données.

Une partie intégrante des pipelines de récupération est une recherche sémantique sur des représentations apprises. Apprendre à un réseau de neurones à intégrer des requêtes et un grand nombre (N) de points de données dans un espace vectoriel de dimension d est le strict minimum pour une approche de recherche sémantique. Toutes les étapes d’un ANN utilisent les mêmes informations apprises par les algorithmes de recherche sémantique existants, qui sont des représentations rigides (RR). Autrement dit, alors que les indices ANNS permettent une large gamme de paramètres pour rechercher l’espace de conception afin de maximiser le compromis précision-calcul, on pense couramment que la dimensionnalité des données d’entrée est fixe.

Les différentes étapes d’ANNS peuvent utiliser des représentations adaptatives de capacités variables pour atteindre des compromis précision-calcul nettement meilleurs qu’avec des représentations rigides, c’est-à-dire que les étapes d’ANNS qui peuvent se passer d’une computation approximative devraient utiliser une représentation de capacité inférieure du même point de données. Les chercheurs proposent AdANNS, un nouveau cadre de conception ANNS qui tire parti de l’adaptabilité offerte par les représentations Matryoshka.

• Gérer facilement les modèles d’apprentissage en profondeur avec des configurations TOML
• Eh GPU, qu’est-ce qui se passe avec ma matrice ?
• Si l’art est la façon dont nous exprimons notre humanité, où se situe l’IA ?

Les chercheurs montrent des compromis précision-calcul de pointe en utilisant des pièces de construction clés ANNS uniques basées sur AdANNS telles que les structures de données de recherche (AdANNS-IVF) et la quantification (AdANNS-OPQ). AdANNS-IVF, par exemple, atteint une précision supérieure de 1,5 % à IVF basé sur des représentations rigides sur la récupération d’ImageNet tout en utilisant le même budget de calcul et atteint une parité de précision tout en s’exécutant 90 fois plus rapidement sur le même ensemble de données. AdANNS-OPQ, une variante de 32 octets de OPQ construite à l’aide de représentations flexibles, atteint la même précision que la ligne de base OPQ de 64 octets pour les questions naturelles. Ils démontrent également que les avantages de AdANNS peuvent être appliqués aux indices ANNS composites de pointe en utilisant à la fois des structures de recherche et la quantification. Enfin, ils montrent que les indices ANNS construits sans adaptation en utilisant des représentations Matryoshka peuvent être recherchés avec AdANNS en tenant compte du calcul.

Visitez https://github.com/RAIVNLab/AdANNS pour obtenir le code source.

Fonctionnalités clés

• Des compromis précision-calcul améliorés sont obtenus en utilisant AdANNS pour développer de nouvelles structures de données de recherche et des techniques de quantification.
• AdANNS-IVF peut être déployé 90 % plus rapidement que IVF traditionnel tout en augmentant la précision jusqu’à 1,5 %.
• AdANNS-OPQ a la même précision que l’étalon-or à une fraction du prix.
• La structure de données de recherche alimentée par AdANNS (AdANNS-IVF) et la quantification (AdANNS-OPQ) surpassent significativement les alternatives de pointe en matière de compromis précision-calcul.
• En plus de permettre une recherche élastique consciente du calcul lors de l’inférence, AdANNS se généralise aux indices ANNS composites de pointe.

AdANNS – ANNS adaptatif

AdANNS est un système permettant d’améliorer le compromis précision-calcul des composants de recherche sémantique en tirant parti de la flexibilité inhérente des représentations Matryoshka. Il existe deux parties principales dans le pipeline ANNS typique : (a) une structure de données de recherche qui indexe et stocke des points de données ; et (b) une méthode de calcul de points de requête qui fournit la distance (approximative) entre une requête et un ensemble de points de données.

Dans cette étude, nous démontrons qu’AdANNS peut être utilisé pour améliorer les performances des deux sous-systèmes ANNS, et nous quantifions les améliorations en termes de compromis entre l’effort computationnel et la précision. Plus précisément, nous introduisons AdANNS-IVF, une structure d’index basée sur AdANNS qui est similaire à la structure IVF plus courante et à la structure ScaNN associée. De plus, nous introduisons l’adaptabilité de représentation dans l’OPQ, une quantification de facto standard, à l’aide d’AdANNS-OPQ. AdANNS-IVFOPQ, une variante AdANNS d’IVFOPQ, et AdANNS-DiskANN, une variante de DiskANN, sont deux autres exemples de méthodes hybrides démontrées par les chercheurs. Comparé aux indices IVF construits à l’aide de RRs, AdANNS-IVF est expérimentalement démontré comme étant nettement plus précis-optimum de calcul. AdANNS-OPQ est montré pour être aussi précis que l’OPQ sur RRs tout en étant significativement moins cher.

Les AdANNS sont conçus avec des architectures de recherche pouvant prendre en charge divers cas d’utilisation à grande échelle, chacun ayant des besoins en ressources uniques pour la formation et l’inférence. Cependant, il arrive parfois que l’utilisateur ne puisse pas explorer l’espace de conception en raison de problèmes de création et de stockage d’index.

En conclusion

Les AdANNS ont été proposés par un groupe de chercheurs de l’Université de Washington, de Google Research et de Harvard University pour améliorer le compromis précision-calcul en utilisant des représentations adaptatives à travers de nombreuses étapes des pipelines ANNS. Par rapport aux blocs de construction ANNS traditionnels, qui utilisent la même représentation inflexible tout au long, les AdANNS tirent parti de la flexibilité inhérente des représentations matryoshka pour construire des blocs de construction supérieurs. Pour les deux principaux blocs de construction ANNS – les structures de données de recherche (AdANNS-IVF) et la quantification (AdANNS-OPQ) – les AdANNS atteignent un compromis précision-calcul SOTA. Enfin, en combinant des blocs de construction basés sur AdANNS, des indices ANNS composites améliorés en temps réel peuvent être construits, permettant une recherche élastique consciente du calcul et réduisant les coûts jusqu’à 8 fois par rapport aux lignes de base solides.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!