Les modèles de langage profonds s’améliorent de plus en plus en apprenant à prédire le mot suivant à partir de son contexte Est-ce vraiment ce que fait le cerveau humain?

Les modèles de langage profonds s'améliorent en apprenant à prédire le mot suivant à partir de son contexte. Le cerveau humain fait-il vraiment la même chose?

L’apprentissage profond a réalisé des avancées significatives dans la génération, la traduction et l’achèvement de texte ces dernières années. Les algorithmes formés pour prédire les mots à partir de leur contexte environnant ont joué un rôle déterminant dans la réalisation de ces avancées. Cependant, malgré l’accès à de vastes quantités de données d’entraînement, les modèles linguistiques profonds ont encore besoin d’aide pour effectuer des tâches telles que la génération d’histoires longues, la résumé, le dialogue cohérent et la recherche d’informations. Il a été démontré que ces modèles ont besoin d’aide pour capturer la syntaxe et les propriétés sémantiques, et leur compréhension linguistique doit être plus superficielle. La théorie du codage prédictif suggère que le cerveau d’un être humain fait des prédictions sur plusieurs échelles de temps et niveaux de représentation à travers la hiérarchie corticale. Bien que des études aient précédemment montré des preuves de prédictions de parole dans le cerveau, la nature des représentations prédites et leur étendue temporelle restent largement inconnues. Récemment, des chercheurs ont analysé les signaux cérébraux de 304 individus écoutant des histoires courtes et ont découvert que l’amélioration des modèles linguistiques profonds avec des prédictions à longue portée et multi-niveaux améliorait la cartographie cérébrale.

Les résultats de cette étude ont révélé une organisation hiérarchique des prédictions linguistiques dans le cortex. Ces résultats sont en accord avec la théorie du codage prédictif, qui suggère que le cerveau fait des prédictions sur plusieurs niveaux et échelles de temps d’expression. Les chercheurs peuvent combler l’écart entre le traitement du langage humain et les algorithmes d’apprentissage profond en incorporant ces idées dans les modèles linguistiques profonds.

L’étude actuelle a évalué des hypothèses spécifiques de la théorie du codage prédictif en examinant si la hiérarchie corticale prédit plusieurs niveaux de représentations, couvrant plusieurs échelles de temps, au-delà des prédictions de voisinage et de niveau de mot généralement apprises dans les algorithmes de langage profond. Les modèles linguistiques profonds modernes et l’activité cérébrale de 304 personnes écoutant des récits parlés ont été comparés. Il a été découvert que les activations des algorithmes de langage profond complétés par des prédictions à longue portée et à haut niveau décrivent le mieux l’activité cérébrale.

• Découvrez DeepOnto un package Python pour l’ingénierie ontologique avec l’apprentissage profond
• Comment émerge une AI-tocratie
• Microsoft et KPMG concluent un partenariat de 2 milliards de dollars dans le domaine de l’IA

L’étude a apporté trois contributions principales. Tout d’abord, il a été découvert que le gyrus supramarginal et les cortex frontal latéral, dorsolatéral et inférieur avaient les distances de prédiction les plus importantes et anticipaient activement les représentations linguistiques futures. Le sillon temporal supérieur et le gyrus sont mieux modélisés par des prédictions de bas niveau, tandis que les prédictions de haut niveau modélisent le mieux les régions temporelles moyennes, pariétales et frontales. Deuxièmement, la profondeur des représentations prédictives varie le long d’une architecture anatomique similaire. Enfin, il a été démontré que les traits sémantiques, plutôt que les traits syntaxiques, sont ce qui influence les prévisions à long terme.

D’après les données, les gyri frontal latéral, dorsolatéral, inférieur et supramarginal ont été montrés pour avoir les distances prédites les plus longues. Ces zones corticales sont liées à des activités exécutives de haut niveau telles que la pensée abstraite, la planification à long terme, la régulation attentionnelle et la sémantique de haut niveau. Selon la recherche, ces régions, qui se trouvent au sommet de la hiérarchie linguistique, peuvent anticiper activement les représentations linguistiques futures en plus de traiter passivement les stimuli passés.

L’étude a également montré des variations dans la profondeur des représentations prédictives le long de la même organisation anatomique. Le sillon temporal supérieur et le gyrus sont mieux modélisés par des prédictions de bas niveau, tandis que les prédictions de haut niveau modélisent le mieux les régions temporelles moyennes, pariétales et frontales. Les résultats sont conformes à l’hypothèse. Contrairement aux algorithmes linguistiques actuels, le cerveau prédit des représentations à plusieurs niveaux plutôt que seulement celles au niveau des mots.

Enfin, les chercheurs ont séparé les activations cérébrales en représentations syntaxiques et sémantiques, découvrant que les caractéristiques sémantiques – plutôt que syntaxiques – influencent les prévisions à long terme. Cette découverte soutient l’hypothèse selon laquelle le cœur du traitement du langage à long terme peut impliquer une prédiction sémantique de haut niveau.

La conclusion générale de l’étude est que les repères pour le traitement du langage naturel pourraient être améliorés et que les modèles pourraient devenir plus proches du cerveau en formant de manière cohérente les algorithmes à prédire de nombreuses échelles de temps et niveaux de représentation.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!