Qu’est-ce que le chatbot dirait ?

Quelle serait l'opinion du chatbot ?

Lorsqu'on lui a demandé de dessiner une licorne, l'IA a généré la représentation approximative ci-dessus. ¶ Crédit : Roman Trukhin

Sebastien Bubeck est un directeur principal de recherche dans le groupe Machine Learning Foundations chez Microsoft Research. Bubeck génère souvent des histoires sur les licornes pour sa jeune fille en utilisant un chatbot alimenté par GPT-4, le dernier modèle de langage volumineux (LLM) d’OpenAI, qui peut produire des réponses textuelles complexes lorsqu’il est sollicité par un utilisateur. Cela l’a amené à se demander à quoi le système pensait qu’une licorne ressemblait, alors il lui a demandé d’en dessiner une en TikZ, un langage de programmation qui crée des graphiques vectoriels en dessinant des points, des lignes et des formes. GPT-4 a renvoyé du code que Bubeck a ensuite compilé.

Le résultat était une représentation primitive d’une licorne.

“J’ai failli tomber de ma chaise”, a déclaré Bubeck lors d’une discussion en panel au Heidelberg Laureate Forum, une conférence de mise en réseau pour les chercheurs en mathématiques et en informatique qui s’est tenue à Heidelberg, en Allemagne, en septembre. “Cela donne une mauvaise impression, mais c’est tout le propos : cela ne vient pas d’Internet”.

La licorne est un exemple de ce que de nombreux chercheurs en intelligence artificielle (IA) désignent sous le nom de comportement émergent : des capacités inattendues dont les sources et les mécanismes sont difficiles à discerner et qui vont au-delà de ce que les LLM ont été formés à faire. Malgré le fait d’avoir seulement appris à partir de texte, par exemple, GPT-4 est capable de traverser les modalités et d’avoir une sorte “d’image mentale” de ce à quoi une licorne ressemblerait. Dans d’autres cas, il a été capable de résoudre des tâches difficiles dans des domaines tels que les mathématiques, la programmation et la médecine, qui ne nécessitent pas simplement une mémorisation, mais plutôt la combinaison de compétences et de concepts provenant de plusieurs domaines.

Les chercheurs cherchent maintenant à comprendre comment les capacités émergentes dans les LLM se manifestent. Ce comportement a été observé depuis l’avènement des modèles de transformation, qui prédisent le mot suivant dans une phrase ou la réponse à une question en apprenant les modèles de langue, tels que la grammaire et la syntaxe, à partir du texte sur lequel ils sont formés. Ils apprennent la force des connexions entre les mots, par exemple, de telle sorte que le mot “oreille” est plus susceptible d’être suivi par le mot “téléphone” ou “prise” plutôt que par le mot “heureux”. Les architectures précédentes, telles que les réseaux neuronaux récurrents (RNN), sont moins complexes, car elles traitent les mots dans une phrase un par un, sans considérer le contexte.

Les modèles de transformation sont également généralement formés sur de vastes quantités de données, ce qui est souvent considéré comme la raison de leurs performances améliorées et de leur comportement surprenant. “Ces modèles de langage volumineux ont été entraînés sur des milliards et des milliards de documents, de transcriptions, pratiquement tout ce qu’ils ont pu trouver dans le domaine public sur le Web”, explique James Hendler, professeur de monde attachable en informatique, web et sciences cognitives à l’Institut polytechnique Rensselaer (RPI) à Troy, dans l’État de New York, et membre du conseil consultatif de l’ACM Special Interest Group on Artificial Intelligence (ACM SIGAI). “Cela couvrait tellement plus que ce que quiconque réalisait réellement (et a conduit) à ce que les gens appellent les propriétés émergentes.”

D’autres facteurs liés à la taille du modèle pourraient aider à expliquer les capacités inattendues. Dans un travail récent, Colin Raffel, désormais professeur agrégé à l’Université de Toronto au Canada et directeur de recherche associé à l’Vector Institute, et ses collègues, ont examiné comment le comportement émergent est lié à la quantité de calcul d’entraînement et au nombre de paramètres d’un modèle (des réglages qui peuvent être ajustés pour contrôler la qualité et la créativité du texte généré), qui sont tous deux liés à la complexité du modèle. Ils ont comparé comment différents modèles tels que GPT-3 et PaLM, qui variaient en termes de ces deux facteurs, se comportaient sur différentes tâches telles que la résolution d’un problème mathématique basé sur des mots ou la récitation d’une citation célèbre en changeant l’un des mots. Ils considéreraient la capacité à accomplir une tâche comme émergente si les modèles présentaient des performances aléatoires en dessous d’une certaine échelle de complexité, mais nettement supérieures à celles des performances aléatoires au-dessus de cette échelle. “Il y a eu beaucoup de tâches où l’émergence s’est produite”, explique Raffel. “(Le document) montre à quel point ce phénomène est répandu.”

Raffel et ses collègues reconnaissent qu’il y a des facteurs perturbants. Un modèle est souvent considéré comme ayant des capacités émergentes s’il parvient à donner une réponse correcte à une demande à laquelle les modèles précédents de moindre envergure n’ont pas pu répondre correctement. Par exemple, si on demande à GPT-4 de multiplier deux nombres avec un grand nombre de chiffres, sa capacité est mesurée en fonction du produit qu’il génère. Cependant, un modèle précédent aurait pu être sur la bonne voie même si sa réponse finale était incorrecte, ce qui signifie qu’il peut y avoir des améliorations progressives à mesure que l’échelle augmente. “Je ne pense pas que cela signifie que les capacités émergentes n’existent pas”, déclare Raffel. “Cela signifie essentiellement que (dans certains cas) les modèles sont soudainement capables d’effectuer une tâche selon la définition naturelle de cette tâche”.

Les stratégies de sollicitation, telles que la manière dont une question est posée ou dont une tâche est décrite, peuvent également jouer un rôle dans les réponses qu’un modèle génère. Si un modèle de plus petite échelle ne peut pas effectuer une tâche et qu’un modèle plus grand le peut soudainement, cela ne signifie pas nécessairement un comportement émergent, mais plutôt une meilleure compréhension de ce qui lui a été demandé. “Nous ne pouvons pas vraiment dissocier les capacités d’un modèle de sa capacité à comprendre une sollicitation”, déclare Raffel. “Peut-être que nous le pourrons à l’avenir”.

Cependant, le fait que les LLM actuels tels que GPT-4 semblent être capables de produire des créations inattendues et nouvelles pourrait suggérer que l’émergence est le résultat d’une certaine forme d’intelligence. Dans un travail récent, Bubeck et ses collègues ont étudié une version antérieure de GPT-4 pour voir comment elle se comportait dans différentes tâches, du dessin d’une licorne à la composition d’une courte mélodie. Ils ont constaté que dans toutes les tâches, et sans nécessiter de sollicitation spéciale, ses performances étaient similaires à celles des humains, et souvent bien meilleures par rapport à des modèles antérieurs tels que ChatGPT. “GPT-4 est une démonstration qu’une forme d’intelligence peut être obtenue lorsque vous entraînez un énorme réseau neuronal sur une énorme quantité de données”, déclare Bubeck.

Bien que les LLM soient peut-être capables de répondre à certaines sollicitations aussi bien que les humains, de nombreux chercheurs soutiendraient qu’ils ne répondent qu’à certaines définitions de l’intelligence. “Ces systèmes ne sont pas intelligents de la façon dont nous nous y référons en tant qu’êtres humains”, déclare Hendler. “Ils sont encore limités dans certaines capacités, mais plus important encore, ils n’ont pas d’intentionnalité et pas d’objectifs”.

Il reste encore de nombreux aspects de l’intelligence des LLM qui doivent être mieux compris. Bubeck aimerait déterminer exactement à quel point ces modèles doivent être énormes pour démontrer un comportement intelligent et, de même, quels sont les besoins minimaux pour que l’intelligence émerge. “Pour moi, c’est une question qui définit une ère et je m’y concentre plus que jamais”, déclare Bubeck. “Je crois que nous devons réellement mener des expériences et essayer de construire de tels ingrédients minimaux”.

Bubeck et ses collègues font partie de nombreuses équipes qui s’attaquent à cela en construisant des LLM de plus petite échelle dont les performances sont similaires à celles des plus grands, mais qui nécessitent beaucoup moins de temps et de coûts d’entraînement. Ils ont récemment développé une série de tels modèles appelés phi qui sont entraînés sur des données synthétiques de haute qualité, telles que les informations que l’on pourrait trouver dans des manuels. “Nous avons récemment rendu open source phi-1.5, qui est un modèle à 1 milliard de paramètres qui présente bon nombre des capacités émergentes que nous observons dans des modèles beaucoup plus grands”, déclare Bubeck. Ce modèle a également surpassé certains modèles plus grands dans des tâches de bon sens et de raisonnement logique.

À mesure que de nouvelles versions de LLM sont créées de plus en plus complexes, les capacités émergentes pourraient également devenir plus sophistiquées et répandues. Cependant, tout le monde n’est pas d’accord.

Bill Gates, ancien PDG et président de Microsoft, a récemment déclaré dans une interview qu’il pensait que les capacités de tels systèmes avaient atteint leur point culminant et que GPT-5 ne dépasserait pas GPT-4. Au contraire, il pense qu’ils s’amélioreront en termes de fiabilité et d’interprétabilité.

Hendler partage un avis similaire. “Je ne pense pas que nous verrons de grandes surprises”, dit-il. “Je pense en fait que les LLM se développeront surtout comme des systèmes spécialisés pour des problèmes et des domaines particuliers, plutôt que de généraliser de plus en plus”.

Sandrine Ceurstemont est une rédactrice scientifique indépendante basée à Londres, Royaume-Uni.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

LAION AI présente Video2Dataset un outil open-source conçu pour organiser efficacement et à grande échelle des ensembles de données vidéo et audio.

Des modèles fondamentaux importants tels que CLIP, Stable Diffusion et Flamingo ont radicalement amélioré l’app...

AI

Des chercheurs de la CMU proposent GILL une méthode d'IA pour fusionner des LLM avec des modèles d'encodeur et de décodeur d'images.

Avec la sortie du nouveau GPT 4 d’OpenAI, la multimodalité dans les grands modèles de langage a été introduite....

AI

Intégrez les cartes de modèle Amazon SageMaker avec le registre de modèles

Les cartes de modèle Amazon SageMaker vous permettent de standardiser la documentation des modèles, ce qui permet d'o...

AI

Voici comment San Jose prévoit d'utiliser l'intelligence artificielle pour arrêter les décès de piétons dans la circulation

L'IA peut être considérée comme un outil inestimable lorsqu'on parle des décès liés à la circulation et aux piétons d...

AI

Découvrez ConceptGraphs une représentation graphique à structure de graphe à vocabulaire ouvert pour les scènes 3D.

La capture et l’encodage d’informations sur une scène visuelle, généralement dans le contexte de la visio...