Découvrez LEVER Une approche d’IA simple pour améliorer la génération de langage vers code en apprenant à vérifier les programmes générés avec leurs résultats d’exécution.

Découvrez LEVER une approche d'IA pour améliorer la génération de code en vérifiant les programmes générés avec leurs résultats d'exécution.

Les modèles linguistiques de grande envergure (LLMs) ont récemment fait des progrès significatifs. Ces modèles ont considérablement amélioré le domaine de l’Intelligence Artificielle et présentent un potentiel énorme pour accomplir divers types de tâches. Des imitations d’êtres humains en répondant à des questions et en générant du contenu jusqu’à la résumé de paragraphes textuels et la traduction de langues, les LLMs peuvent tout faire. Les assistants virtuels, le contrôle des robots, les interfaces de base de données et autres applications d’IA dépendent tous de la capacité à traduire des descriptions de langage naturel en code exécutable. Bien que les LLMs de code, ou simplement les modèles pré-entraînés sur du code, aient montré d’excellentes performances en utilisant l’apprentissage en contexte à quelques exemples, les performances de ces modèles pourraient être améliorées et leur optimisation serait coûteuse en termes de calcul.

Alors que les LLMs peuvent avoir des difficultés en termes de précision dans des situations avec peu d’exemples, ils offrent souvent des résultats précis lorsque suffisamment d’échantillons sont disponibles, c’est-à-dire lorsque les échantillons sont prélevés à grande échelle, le vote majoritaire et le filtrage par les cas de test peuvent grandement améliorer leurs performances. Les types de données, les plages de valeurs et les propriétés des variables sont des indications puissantes de la correction du programme et constituent des éléments sémantiques riches des solutions des modèles. Dans une étude récente, une équipe de chercheurs a introduit Learning to Verify (LEVER), une approche pour la génération de code à partir du langage naturel en utilisant des LLMs de code.

LEVER utilise une représentation combinée de la description en langage naturel, de la forme du programme et du résultat de l’exécution pour former le vérificateur à identifier et rejeter les programmes défectueux. La probabilité de vérification et la probabilité de génération des LLMs sont combinées afin de créer une probabilité globale, et les programmes avec des résultats d’exécution identiques sont marginalisés. Les programmes ayant la meilleure probabilité de fournir le bon résultat sont choisis comme sortie en utilisant cette probabilité comme score de réévaluation.

• Pourquoi vous devriez vous soucier de la loi européenne sur l’IA aujourd’hui
• Les chercheurs de Stanford explorent l’émergence de compétences linguistiques simples chez les agents d’apprentissage par renforcement méta-sans supervision directe Déballage de la percée dans un environnement multi-tâches personnalisé
• Génération d’IA pour l’audio et la musique d’AudioCraft Meta

LEVER a été proposé pour améliorer la création de code à partir du langage naturel en incluant un processus d’apprentissage pour vérifier si un programme échantillonné des LLMs est précis. LEVER vise à améliorer la précision et la justesse des sorties en vérifiant les programmes créés. Pour l’évaluation, des expériences ont été menées sur quatre ensembles de données représentant différents domaines, y compris les questions-réponses sur les tableaux, les questions-réponses sur les mathématiques et la programmation Python fondamentale, afin d’évaluer l’efficacité de LEVER. Les avantages de performance en utilisant code-davinci-002 allaient de 4,6% à 10,9% et les résultats ont systématiquement surpassé les LLMs de base. Sur tous les ensembles de données, LEVER a obtenu de nouveaux résultats de pointe, démontrant sa supériorité dans la production de code précis et contextuellement pertinent à partir de descriptions en langage naturel.

En conclusion, la technique LEVER améliore la capacité des LLMs de code à traduire des descriptions en langage naturel en code exécutable. Cette méthode surpasse les stratégies plus traditionnelles d’élagage des erreurs d’exécution en termes de précision en utilisant un vérificateur qui prend en compte les résultats de l’exécution. Les résultats démontrent son efficacité dans une gamme de tâches de langage vers code et suggèrent qu’il a le potentiel d’améliorer un certain nombre d’applications d’IA, y compris les interfaces de base de données, le contrôle des robots et les assistants virtuels.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!