Rencontrez Automated Reasoning And Tool-Use (ART) Un cadre qui utilise des modèles linguistiques volumineux figés (LLMs) pour produire rapidement des étapes intermédiaires dans les programmes de raisonnement.

Découvrez Automated Reasoning And Tool-Use (ART), un cadre utilisant des modèles linguistiques volumineux figés (LLMs) pour générer rapidement des étapes intermédiaires dans les programmes de raisonnement.

Les grands modèles de langage peuvent rapidement s’adapter à de nouvelles tâches en utilisant l’apprentissage en contexte en leur donnant quelques démonstrations et instructions en langage naturel. Cela évite l’hébergement du LLM ou l’annotation de grands ensembles de données, mais cela pose des problèmes de performance majeurs avec le raisonnement en plusieurs étapes, les mathématiques, la possession des informations les plus récentes et autres. Des recherches récentes suggèrent de donner aux LLM accès à des outils pour faciliter des étapes de raisonnement plus sophistiquées ou les défier à émuler une chaîne de raisonnement pour le raisonnement en plusieurs étapes afin de soulager ces contraintes. Néanmoins, il est difficile d’adapter les approches établies pour un raisonnement en chaîne avec l’utilisation d’outils à de nouvelles activités et outils ; cela nécessite un ajustement fin ou un développement de prompt spécialisé pour une activité ou un outil particulier.

Figure 1 : En sélectionnant des décompositions de tâches similaires dans la bibliothèque de tâches (A), ainsi qu’en choisissant et en appliquant des outils de la bibliothèque d’outils en conjonction avec la génération de LLM, ART développe des décompositions automatisées en plusieurs étapes pour de nouvelles tâches (B). Les humains ont la possibilité de modifier les décompositions pour améliorer les performances (par exemple, en corrigeant et en modifiant le code) (C).

Des chercheurs de l’Université de Washington, Microsoft, Meta, de l’Université de Californie et de l’Institut Allen de recherche en IA développent le cadre Automated Reasoning and Tool usage (ART), qui crée automatiquement des décompositions (raisonnement en plusieurs étapes) pour des exemples de nouvelles tâches, est présenté dans cette étude. ART extrait des exemples de tâches similaires d’une bibliothèque de tâches pour permettre une décomposition en quelques étapes et l’utilisation d’outils pour un travail ultérieur. Ces exemples utilisent un langage de requête flexible mais structuré qui facilite la lecture des étapes intermédiaires, interrompt la création pour utiliser des outils externes, et la redémarre une fois que la sortie de ces outils a été incluse (Figure 1). De plus, le cadre choisit et utilise les outils les plus appropriés (comme les moteurs de recherche et l’exécution de code) à chaque étape.

Le LLM reçoit des démonstrations d’ART sur la façon de décomposer des instances d’activités similaires et sur la façon de choisir et d’utiliser n’importe quel outil de la bibliothèque d’outils décrite dans ces exemples. Cela aide le modèle à généraliser à partir d’exemples pour décomposer de nouvelles tâches et à utiliser les bons outils pour le travail, sans nécessiter d’apprentissage préalable. De plus, les utilisateurs peuvent mettre à jour les bibliothèques de tâches et d’outils et ajouter de nouveaux exemples au besoin pour corriger toute erreur dans la chaîne logique ou ajouter de nouveaux outils (par exemple, pour la tâche en cours).

Ils créent une bibliothèque de tâches pour 15 tâches BigBench et testent ART sur 19 tâches BigBench de test qui n’ont pas été vues auparavant, 6 tâches MMLU et de nombreuses tâches de recherche sur l’utilisation d’outils pertinentes (SQUAD, TriviaQA, SVAMP, MAWPS). Pour 32 des 34 problèmes de BigBench et toutes les tâches MMLU, ART correspond régulièrement ou dépasse les chaînes de raisonnement CoT créées par ordinateur, en moyenne, de plus de 22 points de pourcentage. Lorsque les outils sont autorisés, les performances sur les tâches de test augmentent en moyenne d’environ 12,3 points de pourcentage par rapport à lorsque cela n’est pas autorisé.

En moyenne, ART surpasse l’interrogation directe en quelques étapes sur les tâches BigBench et MMLU de 10,8 points de pourcentage. ART surpasse l’interrogation directe en quelques étapes sur les tâches inconnues demandant un raisonnement mathématique et algorithmique de 12,5 % et surpasse les résultats de GPT3 les plus connus, y compris la supervision pour la décomposition et l’utilisation d’outils, de 6,1 points de pourcentage. La mise à jour des bibliothèques de tâches et d’outils avec de nouveaux exemples permet une interaction humaine et une amélioration du processus de raisonnement, ce qui rend très simple l’amélioration des performances sur n’importe quel travail donné avec une intervention humaine minimale. Sur 12 tâches de test, ART surpasse les résultats de GPT3 les plus connus en moyenne de plus de 20 points de pourcentage lorsqu’il est accompagné d’un retour d’information supplémentaire de l’humain.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Qu'est-ce que la Superalignement et pourquoi est-elle importante?

Aborder les risques potentiels associés aux systèmes de superintelligence.

AI

Le Pinceau Magique qui Fonctionne en 3D Blended-NeRF est un Modèle d'IA qui Génère des Objets sans Aucune Donnée dans les Champs de Radiance Neurale

Les dernières années ont été riches en moments de découverte pour différentes disciplines. Nous avons observé l’...

AI

Les chercheurs de l'UCL et de Google DeepMind révèlent les dynamiques fugaces de l'apprentissage en contexte (ICL) dans les réseaux neuronaux Transformer.

La capacité d’un modèle à utiliser des entrées au moment de l’inférence pour modifier son comportement sa...

AI

GPT-Engineer Votre nouvel assistant de codage IA

GPT-Engineer est un générateur d'applications alimenté par l'IA qui génère des bases de code à partir de descriptions...

AI

Google AI présente SimPer une structure auto-contradictoire autonome pour apprendre des informations périodiques dans les données.

Au cours des dernières années, la reconnaissance et la compréhension des données périodiques sont devenues vitales po...

AI

Une attaque cérébrale lui a volé sa capacité de parler à 30 ans. L'IA aide à la restaurer des années plus tard.

L'activité cérébrale d'une femme paralysée est traduite en mots prononcés par un avatar. Cette étape pourrait aider d...