Les chercheurs de Stanford présentent Parsel un cadre d’intelligence artificielle (IA) qui permet la mise en œuvre et la validation automatiques d’algorithmes complexes avec des modèles de langage de grande taille (LLMs).

Stanford researchers present Parsel, an AI framework for automatic implementation and validation of complex algorithms with large language models (LLMs).

Bien que des progrès récents aient été réalisés dans le raisonnement des modèles de langage de grande taille (LLM), les LLM ont encore du mal avec des tâches de raisonnement hiérarchique à plusieurs étapes telles que le développement de programmes sophistiqués. Les programmeurs humains, contrairement à d’autres générateurs de jetons, ont (généralement) appris à diviser les tâches difficiles en composants gérables qui fonctionnent seuls (modulaires) et fonctionnent ensemble (compositionnels). En bonus, si les jetons générés par l’humain posent des problèmes avec une fonction, il devrait être possible de réécrire cette partie du logiciel sans affecter le reste de l’application. En revanche, on s’attend naïvement à ce que les LLM de code produisent des séquences de jetons sans erreurs.

Cela a incité une récente étude de l’Université de Stanford à examiner l’utilisation des LLM dans la décomposition des problèmes et la construction de solutions compositionnelles. Ils proposent Parsel, un compilateur qui accepte une spécification comprenant des descriptions de fonctions écrites en langage naturel et des contraintes qui définissent le comportement souhaité des fonctions implémentées. En utilisant Parsel, les codeurs peuvent écrire des programmes en langage courant qui peuvent résoudre des problèmes de codage au niveau de la compétition, surpassant les meilleures méthodes précédentes de plus de 75%.

Un LLM de code reçoit la description d’une fonction et les signatures des fonctions dont elle dépend, puis il est demandé de générer des implémentations de la fonction. Lorsqu’une contrainte est ajoutée, le compilateur examine les différentes combinaisons d’implémentation jusqu’à ce qu’il en trouve une qui fonctionne.

• Une nouvelle approche de recherche en intelligence artificielle (IA) présente l’apprentissage basé sur les prompts dans le contexte comme un problème d’apprentissage algorithmique d’un point de vue statistique.
• Groupe de recherche Eleuther AI démontre comment le Guidage sans classificateur (CFG) peut être utilisé avec LLMs
• Des chercheurs de l’Université de Binghamton présentent un système d’anonymisation renforçant la confidentialité (My Face, My Choice) pour permettre à chacun de garder le contrôle sur son visage dans les réseaux sociaux de partage de photos.

Des études antérieures ont montré qu’à la différence des humains, les modèles de langage de code ne peuvent pas développer de programmes qui effectuent séquentiellement de nombreuses petites tâches. Parsel élimine ce problème en partitionnant les processus de décomposition et d’implémentation. Bien qu’ils aient initialement voulu permettre la programmation en langage naturel, ils ont découvert que les LLM excellent également dans la programmation Parsel.

La décomposition d’un plan abstrait jusqu’à ce qu’il puisse être résolu automatiquement est un schéma courant dans le raisonnement humain, qui se reflète dans la génération et la mise en œuvre de Parsel ; cette structure compositionnelle est également utile pour les modèles de langage. Dans cette étude, l’équipe démontre que les LLM peuvent créer Parsel à partir d’un petit nombre d’instances et que leurs solutions surpassent les méthodes de pointe sur des problèmes de niveau de compétition provenant de l’ensemble de données APPS. Les plans écrits par les LLM utilisant Parsel pour produire des plans robotiques étape par étape à partir de tâches de haut niveau sont, de manière excitante, plus de deux tiers aussi précis qu’une base de planification sans apprentissage préalable.

Pour évaluer l’efficacité de Parsel, Gabriel Poesia, un codeur expérimenté en compétition, l’a utilisé pour résoudre une série de défis APPS généralement rencontrés dans les compétitions de codage. En 6 heures, il a trouvé des solutions à 5 des 10 problèmes, dont 3 que GPT-3 n’avait pas réussi à résoudre précédemment.

Les chercheurs montrent que Parsel peut être utilisé pour la démonstration de théorèmes et d’autres activités nécessitant un raisonnement algorithmique en le formulant comme un cadre polyvalent.

Ils prévoient de mettre en œuvre la génération autonome de tests unitaires dans un proche avenir. Ils mentionnent qu’une approche consisterait à rechercher des situations spéciales et à voir si le groupe de fonctions qui sont d’accord sur tous les tests existants est également d’accord sur les nouveaux tests. Cela évite le développement exponentiel des combinaisons d’implémentation, ce qui pourrait rendre possible la décomposition automatique. Ils visent également à ajuster le “seuil de confiance” du modèle de langage, car il est nécessaire de rendre les descriptions claires et concises pour les programmes ou sections de programmes plus cruciaux, il est nécessaire de s’assurer que les descriptions sont claires et concises.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!