La mise au point des symboles de Google est une nouvelle technique de réglage fine qui permet un apprentissage en contexte dans les LLM.

La mise au point des symboles de Google est une technique de réglage fine pour l'apprentissage en contexte dans les LLM.

La nouvelle méthode peut devenir la base de nouvelles techniques de fine-tuning.

Créé à l'aide de Midjourney

Récemment, j’ai lancé une newsletter éducative axée sur l’IA, qui compte déjà plus de 160 000 abonnés. TheSequence est une newsletter orientée vers l’apprentissage automatique (ML) qui prend 5 minutes à lire et qui ne contient pas de discours marketing, de nouvelles, etc. L’objectif est de vous tenir au courant des projets d’apprentissage automatique, des articles de recherche et des concepts. Essayez-la en vous abonnant ci-dessous :

TheSequence | Jesus Rodriguez | Substack

La meilleure source pour rester à jour avec les développements dans l’apprentissage automatique, l’intelligence artificielle et les données…

thesequence.substack.com

Grâce à l’augmentation de la taille des modèles de langage, l’apprentissage automatique a connu une avancée révolutionnaire, permettant la réalisation de tâches de raisonnement complexes grâce à l’apprentissage en contexte. Cependant, un problème persistant subsiste : les modèles de langage montrent une sensibilité aux variations de la consigne, suggérant un manque de raisonnement robuste. Ces modèles nécessitent souvent un effort important d’ingénierie de la consigne ou de formulation pédagogique, et présentent même des comportements étranges, comme des performances de tâches inchangées malgré une exposition à des étiquettes incorrectes. Dans leur dernière recherche, Google dévoile une caractéristique fondamentale de l’intelligence humaine : la capacité à apprendre de nouvelles tâches en raisonner avec seulement quelques exemples.

L’article révolutionnaire de Google, intitulé “La syntonisation des symboles améliore l’apprentissage en contexte dans les modèles de langage”, présente une nouvelle méthode de fine-tuning innovante appelée syntonisation des symboles. Cette technique accentue les correspondances entre les entrées et les étiquettes, ce qui entraîne des améliorations significatives de l’apprentissage en contexte pour les modèles Flan-PaLM dans des scénarios divers.

Crédit image : Google Research

Syntonisation des symboles

Google Research présente la “syntonisation des symboles”, une technique de fine-tuning puissante qui répond aux limites des méthodes de syntonisation d’instructions conventionnelles. Alors que la syntonisation d’instructions peut améliorer les performances du modèle et la compréhension en contexte, elle présente un inconvénient : les modèles peuvent ne pas être incités à apprendre à partir d’exemples car les tâches sont redondamment définies par des instructions et des étiquettes en langage naturel. Par exemple, dans les tâches d’analyse de sentiment, les modèles peuvent simplement se fier aux instructions fournies, en ignorant complètement les exemples.

La syntonisation des symboles se révèle particulièrement bénéfique pour les tâches d’apprentissage en contexte jamais vues auparavant, excellant là où les méthodes traditionnelles échouent en raison de consignes sous-spécifiées dépourvues d’instructions ou d’étiquettes en langage naturel. De plus, les modèles syntonisés avec des symboles font preuve d’une capacité exceptionnelle dans les tâches de raisonnement algorithmique.

Le résultat le plus remarquable est l’amélioration substantielle de la gestion des étiquettes inversées présentées en contexte. Cette réalisation met en évidence la capacité supérieure du modèle à exploiter les informations en contexte, dépassant même les connaissances préexistantes.

La syntonisation des symboles offre un remède en affinant les modèles sur des exemples dépourvus d’instructions et en remplaçant les étiquettes en langage naturel par des étiquettes sans lien sémantique telles que “Foo”, “Bar”, etc. Dans cette configuration, la tâche devient ambiguë sans consulter les exemples en contexte. Le raisonnement sur ces exemples devient crucial pour réussir. Par conséquent, les modèles syntonisés avec des symboles présentent de meilleures performances sur des tâches nécessitant un raisonnement nuancé entre les exemples en contexte et leurs étiquettes.

Crédit image : Google Research

Pour évaluer l’efficacité de la syntonisation des symboles, les chercheurs ont utilisé 22 ensembles de données de traitement du langage naturel (NLP) disponibles publiquement, avec des tâches de type classification et des étiquettes discrètes. Les étiquettes ont été remappées à des choix aléatoires parmi un pool d’environ 30 000 étiquettes arbitraires appartenant à trois catégories : nombres entiers, combinaisons de caractères et mots.

Crédit image : Google Research

Les expériences ont porté sur la syntonisation des symboles sur les modèles Flan-PaLM, en particulier Flan-PaLM-8B, Flan-PaLM-62B et Flan-PaLM-540B. De plus, Flan-cont-PaLM-62B (abrégé en 62B-c) a été testé, représentant Flan-PaLM-62B à une échelle de 1,3 billion de jetons au lieu des 780 milliards habituels.

Le procédé d’accord de symboles nécessite que les modèles s’engagent dans un raisonnement avec des exemples en contexte pour effectuer efficacement les tâches, car les invitations sont conçues pour empêcher l’apprentissage uniquement à partir d’étiquettes ou d’instructions pertinentes. Les modèles accordés aux symboles excellent dans des contextes qui exigent un raisonnement complexe entre des exemples en contexte et des étiquettes. Pour explorer ces contextes, quatre scénarios d’apprentissage en contexte ont été définis, variant le niveau de raisonnement requis entre les entrées et les étiquettes pour l’apprentissage de la tâche (en fonction de la disponibilité des instructions/étiquettes pertinentes).

Crédit image: Google Research

Les résultats ont démontré des améliorations de performance dans tous les contextes pour les modèles de 62B et plus, avec des améliorations modestes dans les contextes avec des étiquettes de langage naturel pertinentes (allant de +0,8 % à +4,2 %), et des améliorations substantielles dans les contextes sans ces étiquettes (allant de +5,5 % à +15,5 %). De manière remarquable, lorsque les étiquettes pertinentes étaient indisponibles, Flan-PaLM-8B accordé aux symboles surpassait Flan-PaLM-62B en termes de performance, et Flan-PaLM-62B accordé aux symboles surpassait Flan-PaLM-540B. Cela suggère que l’accord de symboles permet aux modèles plus petits d’égaler les performances des modèles plus grands sur ces tâches, réduisant ainsi considérablement les exigences de calcul d’inférence (économisant approximativement ∼10X en calcul).

Crédit image: Google Research

En général, l’accord de symboles montre des améliorations significatives dans les tâches d’apprentissage en contexte, en particulier pour les invitations sous-spécifiées. La technique montre également des performances supérieures à celles du fine-tuning traditionnel dans les tâches de raisonnement et est plus capable d’utiliser les informations en contexte pour remplacer les connaissances antérieures. Dans l’ensemble, l’accord de symboles peut devenir l’une des techniques de fine-tuning les plus intéressantes.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Découvrez DERA Un cadre AI pour améliorer les complétions de grands modèles de langage avec des agents de résolution activés par le dialogue.

Les “grands modèles de langage” d’apprentissage profond ont été développés pour prévoir le contenu ...

AI

Accélérer le temps d'obtention des informations avec les collections de séries temporelles de MongoDB et Amazon SageMaker Canvas

Ceci est un article invité co-écrit avec Babu Srinivasan de MongoDB. À mesure que les industries évoluent dans le pay...

AI

Découvrez ECOGEN Une nouvelle approche d'apprentissage profond conçue pour générer des chants d'oiseaux réalistes à l'attention des biologistes et des écologistes.

L’avènement de l’apprentissage profond a considérablement influencé divers domaines, étendant son impact ...

AI

Cet article sur l'IA propose une nouvelle méthode basée sur les gradients appelée Cones pour analyser et identifier les neurones conceptuels dans les modèles de diffusion.

La structure complexe du cerveau lui permet d’accomplir des tâches cognitives et créatives incroyables. Selon d...

AI

Découvrez LLM360 les premiers modèles de langage (LLM) entièrement open source et transparents

Les modèles de langage larges open source (LLMs) tels que LLaMA, Falcon et Mistral offrent aux professionnels et aux ...