Les chercheurs de Google dévoilent l’Auto-Consistance Universelle (USC) Un nouveau bond en avant dans les capacités des grands modèles de langage pour la performance de tâches complexes.

Les chercheurs de Google dévoilent l'Auto-Consistance Universelle (USC) Une avancée majeure dans les capacités des grands modèles de langage pour des tâches complexes.

Le problème de sélection de la réponse la plus cohérente parmi plusieurs candidats afin d’améliorer les performances des tâches, en particulier dans des tâches telles que le raisonnement mathématique et la génération de code, a été abordé par des chercheurs de Google grâce à leur méthode Universal Self-Consistency (USC). Cette méthode utilise des LLM et obtient des résultats comparables à la self-consistency standard sans nécessiter de formats de réponse identiques ou d’accès aux résultats d’exécution.

Le rééquilibrage améliore la génération du modèle de langage en échantillonnant les sorties et en appliquant des critères post-hoc. Les LLM évaluent les textes générés par le modèle sans références humaines. La méthode USC proposée produit des résultats comparables à la self-consistency standard sans nécessiter de données étiquetées supplémentaires ou d’un modèle de rééquilibrage externe.

Les LLM excellent dans les tâches de raisonnement mathématique et de génération de code. Les approches précédentes améliorent la qualité de sortie des LLM en échantillonnant et en sélectionnant en fonction de critères. La self-consistency est efficace pour les tâches avec des réponses uniques mais rencontre des difficultés dans une ère ouverte. USC utilise des LLM pour choisir la réponse la plus cohérente parmi plusieurs candidats. Comme l’ont démontré diverses évaluations, USC, en éliminant l’extraction de réponse, se révèle efficace pour améliorer les tâches de génération ouverte.

La méthode USC emploie des LLM pour choisir la réponse la plus cohérente parmi plusieurs candidats, éliminant ainsi le besoin d’une extraction de réponse. USC étend la self-consistency aux tâches de génération libre, évaluées sur des références telles que le raisonnement mathématique, la génération de code, la résumation et les questions-réponses ouvertes. L’approche génère plusieurs échantillons en utilisant les LLM et sélectionne la réponse en fonction de la cohérence.

La méthode USC démontre son efficacité dans les tâches de génération ouverte, surpassant les limitations de la méthode de self-consistency originale. USC est comparable à la self-consistency standard dans les tâches de raisonnement mathématique avec différents formats de réponse, et il est équivalent à la self-consistency basée sur l’exécution dans les tâches de génération de code sans exécution de code. USC s’améliore constamment par rapport aux références dans les tâches de résumé de long contexte et obtient les meilleurs scores de véracité et d’informativité sur le benchmark TruthfulQA. Les performances de USC sont robustes face à différents ordres de réponse, bénéficient de plus d’échantillons dans certaines tâches et peuvent être encore améliorées avec des adaptations mineures spécifiques à la tâche.

En conclusion, la méthode USC s’est révélée très efficace pour les tâches de génération libre, surpassant régulièrement les références dans les tâches de résumé de long contexte et de questions-réponses ouvertes. Son utilisation de LLM pour sélectionner la réponse la plus cohérente parmi plusieurs candidats a montré des améliorations significatives dans diverses applications, y compris les tâches de raisonnement mathématique et de génération de code, sans nécessiter de formats de réponse similaires ou de résultats d’exécution réels. USC est un outil précieux pour générer des réponses précises et fiables dans divers contextes.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Découvrez SegGPT un modèle généraliste qui effectue des tâches de segmentation arbitraires dans des images ou des vidéos grâce à une inférence en contexte.

En vision par ordinateur, qui cherche à localiser et à réorganiser des notions significatives au niveau des pixels, t...

AI

Des chercheurs de l'ETH Zurich et de Microsoft présentent SCREWS un cadre d'intelligence artificielle pour améliorer le raisonnement des grands modèles de langage.

Les modèles linguistiques larges (LLM) ont réussi dans plusieurs tâches de raisonnement différentes. Pour garantir qu...

AI

Découvrez StableSR une nouvelle approche d'intelligence artificielle pour la super-résolution exploitant la puissance des modèles de diffusion pré-entraînés.

Des progrès significatifs ont été observés dans le développement de modèles de diffusion pour diverses tâches de synt...

AI

Le modèle de base Falcon 180B de TII est désormais disponible via Amazon SageMaker JumpStart.

Aujourd'hui, nous sommes ravis d'annoncer que le modèle de base Falcon 180B développé par le Technology Innovation In...

AI

Naviguer dans le paysage des grands modèles de langage

Microsoft et Meta ont récemment dévoilé Llama 2, le modèle de langue grand format open-source de nouvelle génération ...