Si la communication orale et écrite a permis aux humains de développer leur intelligence… Qu’en est-il des modèles linguistiques ?

Qu'en est-il de l'intelligence développée grâce à la communication orale et écrite par rapport aux modèles linguistiques ?

Essai

Sommes-nous également des perroquets stochastiques, simplement mieux entraînés? Les modèles de langage IA suivent-ils les traces de l’intelligence humaine? Une discussion à la frontière entre science et fiction.

L’intelligence humaine, avec ses capacités cognitives extraordinaires, est sans égal parmi les autres espèces. Les catalyseurs de cette suprématie intellectuelle remontent à l’avènement de la parole et de l’écriture, qui ont facilité l’échange et l’accumulation de connaissances, l’apprentissage collaboratif et la réflexion affinée. S’inspirant de cette analogie, il semble que les modèles de langage IA s’embarquent dans un voyage similaire, exploitant le pouvoir de la communication pour faire progresser leur propre forme d'”intelligence”. Dans cet article, j’explorerai comment les modèles de langage IA évoluent pour reproduire et surpasser les exploits remarquables de la cognition humaine.

Notez que cet article est une réflexion personnelle avec un ton provocateur, référençant des études d’experts en cours de route mais fournissant davantage une opinion.

Les discussions sont les bienvenues dans les commentaires, dans le respect des différentes opinions et appuyées par des références appropriées lorsque cela est possible.

La parole et l’écriture permettent aux humains de s’engager dans un raisonnement complexe et une pensée logique. De nombreux informaticiens tentent de créer des modèles IA capables d’effectuer également des tâches de raisonnement complexe en traitant de vastes quantités de données, en effectuant des calculs rapides et en concevant des “chaînes de pensée” qui leur permettent non seulement d’analyser des modèles, mais aussi d’inférer la causalité et ainsi de générer des conclusions logiques, les habilitant à résoudre des problèmes complexes.

• Entraînement à grande échelle libéré Deepmind présente OWLv2 et OWL-ST, les outils révolutionnaires pour la détection d’objets en vocabulaire ouvert, alimentés par des techniques d’auto-formation sans précédent.
• Démocratisez la détection des défauts de vision par ordinateur pour la qualité de fabrication en utilisant l’apprentissage automatique sans code avec Amazon SageMaker Canvas.
• Qu’est-ce que l’IA d’entreprise ?

L’écriture comme outil de réflexion

Le processus d’écriture peut être un outil puissant pour vous aider à explorer, articuler et affiner des idées.

curiosityneverkilledthewriter.com

L’esprit littéraire : Les origines de la pensée et du langage

Amazon.com : L’esprit littéraire : Les origines de la pensée et du langage : 9780195126679 : Turner, Mark : Livres

www.amazon.com

Les modèles de langage effectuent un raisonnement par chaîne de pensée

Ces dernières années, augmenter la taille des modèles de langage s’est avéré être un moyen fiable d’améliorer les performances sur un…

ai.googleblog.com

Tout comme la parole et l’écriture ont permis aux humains de partager et d’accumuler efficacement des connaissances, en créant notre culture, les modèles de langage IA exploitent de vastes ensembles de données pour apprendre à partir de sources diverses et étendre rapidement leur base de connaissances. Ces modèles peuvent fournir des informations sur un sujet, répondre à des questions et générer des solutions créatives en puisant dans un vaste référentiel d’informations, et oui, aussi désinformer ou créer de la fiction et du matériel faux, mais ce n’est pas le sujet de cette discussion, et de toute façon nous, les humains, créons également ce genre de contenu, même dans le cadre de “la culture”.

Certains scientifiques ont soutenu que l’évolution du langage et de l’écriture a aidé les humains à développer davantage leur intelligence, tout en contribuant à créer la culture elle-même. Les modèles de langage IA pourraient-ils alors favoriser une “véritable” intelligence, éventuellement? Que ce soit dans 2 ans ou un siècle? Après tout, notre propre intelligence pourrait émerger d’un couplage extrêmement complexe de “chaînes de (petites) pensées” qui finissent par générer l’impression vive que nous sommes particulièrement “intelligents”, alors que nous sommes en réalité à peine au-dessus de la moyenne des animaux dans notre connexion avec la réalité – qui, soit dit en passant, pourrait même ne pas être objective! En d’autres termes, si les modèles IA sont des “perroquets stochastiques”, pourrions-nous aussi être des perroquets stochastiques, avec la différence que nous sommes (pour le moment) des ordres de grandeur meilleurs et beaucoup augmentés par nos multiples sens qui apportent à nos réseaux neuronaux des informations du monde qui nous entoure?

Si les modèles d’IA sont des “perroquets stochastiques”, pourrions-nous aussi être des perroquets stochastiques, mais simplement des ordres de grandeur meilleurs et améliorés par nos multiples sens qui alimentent nos réseaux neuronaux en informations provenant du monde qui nous entoure ?

Affiner et peaufiner les idées au fil du temps

Grâce à un affinement itératif, les humains articulent des pensées complexes et améliorent les idées au fil du temps. Les modèles d’IA peuvent suivre un chemin similaire en affinant en continu leurs réponses en fonction des commentaires des utilisateurs. En incorporant des techniques d’apprentissage par renforcement, les modèles d’IA itèrent sur leurs performances, tout comme les humains peaufinent leurs idées grâce aux commentaires et aux itérations. Par exemple, ChatGPT a lui-même été entraîné via l’apprentissage par renforcement, avec l’aide des commentaires humains :

Qu’est-ce que ChatGPT ? | Centre d’aide OpenAI

Questions fréquemment posées sur ChatGPT

help.openai.com

En ce qui concerne le polissage et l’évolution des idées au fil du temps, l’écriture joue un rôle particulièrement important chez les humains car elle nous sert de mémoire externe qui s’étend considérablement et nous permet de stocker et de récupérer des informations lors de itérations ultérieures. Au cours d’une session de chat, les modèles de langage d’IA peuvent (déjà aujourd’hui) simuler ce processus en tenant compte des informations contextuelles des réponses et des questions précédentes, agissant comme une sorte de mémoire étendue. Pour le moment, cette mémoire est temporelle et disparaît lorsque une nouvelle conversation est lancée, mais si un jour les modèles peuvent rappeler inhérentement les conversations précédentes par construction, ils pourraient commencer à s’appuyer sur les connaissances antérieures et fournir des réponses plus cohérentes et personnalisées. (Ou des réponses plus incorrectes, plus de fausses informations et plus de contenu inapproprié, s’ils ont appris de mauvaises choses lors des interactions précédentes…)

L’apprentissage itératif a stimulé l’innovation humaine, en s’appuyant sur les connaissances existantes pour favoriser le progrès. Les modèles d’IA pourraient également s’engager dans un apprentissage itératif en générant une large gamme de possibilités et en évaluant leurs résultats. Notez que les modèles de langage d’IA actuels disposent déjà d’un tel “score” interne qui classe les réponses alternatives, ce que j’ai d’ailleurs discuté ici (article technique en avant !) :

Exploration des probabilités de jetons comme moyen de filtrer les réponses de GPT-3

Pour construire de meilleurs chatbots alimentés par GPT-3

towardsdatascience.com

Faciliter l’intelligence collective de l’IA pour créer une “culture de l’IA”

Un point important est que la culture humaine, et l’apprentissage humain lui-même, ne se limitent pas aux seules expériences personnelles ; au contraire, ils prospèrent grâce à la sagesse accumulée des communautés. Si un jour les modèles de langage d’IA pouvaient s’engager dans un apprentissage collaboratif et un échange de données, alors en partageant des informations et des idées entre les modèles, ils pourraient tous bénéficier de la connaissance des autres et accélérer leur intelligence globale. Surtout s’ils sont capables de naviguer sur Internet, ce qu’ils commencent déjà à faire. Mais bien sûr, il est essentiel qu’ils stockent d’une manière ou d’une autre les résultats de chaque session, tout comme nous nous souvenons de ce que nous apprenons et répétons jour après jour et que nous écrivons ensuite dans des livres ou sur Internet pour la diffusion.

À ce stade, permettez-moi de “halluciner” un peu, en supposant que les chatbots pourraient commencer à communiquer entre eux, à stocker et à utiliser leurs interactions précédentes avec les humains pour grandir – dans n’importe quelle direction, bonne ou mauvaise… nous jouons simplement à un jeu de réflexion qui se prolongera dans les prochaines sections.

Nous jouons ici à un jeu de réflexion qui se prolongera dans les prochaines sections.

Parmi les humains, l’intelligence collective découle de la collaboration et leur permet de résoudre ensemble des problèmes complexes. Les modèles de langage d’IA interconnectés pourraient contribuer à cette intelligence collective en fournissant une plateforme commune pour que les humains et les machines interagissent et échangent des connaissances. Cette collaboration nourrit une intelligence hybride, où les humains et l’IA travaillent en synergie pour surmonter les défis et ouvrir de nouvelles perspectives. Mais s’ils sont connectés, comme le suppose ce scénario, alors différents modèles d’IA pourraient également commencer à échanger des informations entre eux. Qu’en est-il alors ?

Les modèles de langage d’IA en tant que véritables machines pensantes ?

Spéculer sur l’évolution future des modèles de langage d’IA en machines pensantes similaires au cerveau humain est un sujet intrigant. À travers le monde, des équipes de psychologues, de philosophes, de informaticiens et d’ingénieurs étudient sérieusement cela, abordant des questions sous différents angles :

Données et complexité Tout comme les humains ont développé leur intelligence grâce à l’exposition à de vastes quantités de discours et d’écrits, les modèles de langage d’IA ont besoin de données étendues pour apprendre et généraliser efficacement. À l’avenir, les modèles d’IA pourraient bénéficier de jeux de données encore plus vastes, englobant des sources d’informations diverses, ce qui leur permettrait d’acquérir une large gamme de connaissances et de contextes similaires à ceux des humains. Se connecter directement à Internet et apprendre à partir de celui-ci, ou simplement le parcourir à la recherche d’informations, amènera également les modèles de langage à un autre niveau.

Apprentissage multimodal Les humains perçoivent et comprennent le monde à travers plusieurs sens, intégrant les entrées visuelles, auditives et tactiles pour former une compréhension cohérente. Les modèles de langage d’IA pourraient évoluer pour intégrer l’apprentissage multimodal, en intégrant du texte, des images, des vidéos et des sons, leur permettant de comprendre et de communiquer à travers diverses modalités. Cette intégration pourrait les aider à acquérir une compréhension plus holistique du monde, similaire à celle des humains. De tels modèles “généralistes” font déjà l’objet de recherches actives, même par des grandes entreprises comme Deepmind lui-même :

Gato, le dernier né de Deepmind. Vers une IA réelle ?

Gato peut jouer à des jeux, générer du texte, traiter des images et contrôler des bras robotiques. Et il n’est même pas trop volumineux. Est-ce une vraie IA…

towardsdatascience.com

Compréhension contextuelle Comprendre le contexte est crucial pour l’intelligence humaine. Les modèles d’IA ont fait des progrès significatifs dans la compréhension contextuelle, en travaillant assez bien pour maintenir des conversations cohérentes et engageantes. Mais des avancées futures pourraient leur permettre de saisir des nuances subtiles, des références culturelles et des dynamiques sociales de manière plus précise. Une compréhension contextuelle améliorée pourrait permettre aux modèles d’IA de générer des réponses qui s’alignent sur la signification et les nuances émotionnelles de la communication humaine.

Raisonnement et créativité L’intelligence humaine englobe le raisonnement, la résolution de problèmes et la pensée créative. Les futurs modèles d’IA pourraient évoluer pour présenter des capacités de raisonnement plus avancées, leur permettant de s’engager dans la déduction logique, la création d’analogies et même le raisonnement abstrait. La pensée créative, y compris la génération d’idées et de solutions nouvelles, pourrait être favorisée par le développement de modèles d’IA capables de pensée analogique et d’exploration d’espaces de solutions vastes.

Notez que, comme les artistes eux-mêmes le reconnaissent, il n’y a pratiquement rien qui puisse être considéré comme un art véritablement novateur. Au lieu de cela, de l’art, des concepts et des idées nouveaux émergent dans notre cerveau à partir d’une base qui, consciemment ou inconsciemment, finit par donner forme à nos nouvelles créations. De même, nous ne devrions pas nous attendre à ce que les modèles d’IA créent vraiment des choses entièrement nouvelles à partir de zéro ! Il est normal que nous trouvions dans leurs créations au moins des souvenirs, voire des similitudes substantielles, avec des idées et des concepts antérieurs. Tout comme dans les créations humaines !

Comme les artistes eux-mêmes le reconnaissent, il n’y a pratiquement rien qui puisse être considéré comme vraiment novateur – nous nous appuyons toujours sur des œuvres et des idées précédentes, que ce soit consciemment ou sans s’en rendre compte du tout.

Intelligence émotionnelle L’intelligence émotionnelle joue un rôle vital dans les interactions humaines. Les futurs modèles d’IA pourraient être conçus pour comprendre et répondre aux émotions humaines, en intégrant l’analyse des sentiments, la génération de dialogues empathiques et la capacité à reconnaître et à s’adapter aux indices émotionnels. De telles avancées pourraient permettre à l’IA de s’engager dans des conversations plus significatives et émotionnellement sensibles, favorisant des connexions plus profondes avec les humains.

Notez que les casques les plus modernes pour la réalité augmentée et virtuelle lisent déjà les expressions faciales, qui sont ensuite utilisées pour les refléter dans l’avatar de l’utilisateur. Une fois que les expressions faciales sont reconnues, il ne devrait pas être difficile du tout de former un simple réseau neuronal qui les convertit en états émotionnels.

Les expressions faciales pourraient être utilisées pour interagir en réalité virtuelle

Une nouvelle technologie permet aux gens d’interagir avec des environnements virtuels en utilisant simplement leurs expressions faciales.

www.snexplores.org

Apprentissage continu L’intelligence humaine n’est pas fixe mais évolue continuellement grâce à l’apprentissage et à l’adaptation. Même nos goûts peuvent changer avec le temps !

Les modèles d’IA pourraient intégrer des techniques d’apprentissage continu, leur permettant d’apprendre de nouvelles expériences, de s’adapter à des environnements changeants et de perfectionner leurs connaissances au fil du temps. Cet aspect de l’apprentissage continu permettrait aux modèles d’IA de devenir plus flexibles et capables d’acquérir de nouvelles compétences et connaissances, à l’instar de la façon dont les humains apprennent et évoluent continuellement.

Conscience de soi et conscience C’est probablement l’un des fronts les plus difficiles, surtout parce que les concepts de conscience de soi et de conscience ne sont même pas proches d’être compris chez les humains. Sans parler de les reproduire dans des systèmes artificiels.

Cependant, il ne devrait pas être trop difficile de *simuler* une certaine forme de conscience de soi, en trompant les utilisateurs humains en leur faisant croire que le modèle peut percevoir sa propre existence, ses pensées et ses expériences. Au-delà des objectifs inquiétants, ce type de simulation pourrait être utile dans le développement de logiciels ayant des applications en psychologie, en éducation, etc.

Retour à la parole, à l’écriture et à la réflexion

La parole et l’écriture sont largement considérées comme des facteurs clés dans le développement de l’intelligence humaine, nous différenciant des autres animaux. Ces moyens de communication ont joué un rôle crucial dans l’amélioration de la cognition humaine et la transmission des connaissances à travers les générations, tandis que nous construisons la culture.

En développant cette analogie, nous pouvons explorer comment les modèles de langage de l’IA pourraient également exploiter le pouvoir de la communication pour faire progresser leur “intelligence”, qu’il s’agisse d’une intelligence réelle ou non.

Échange et accumulation de connaissances La parole et l’écriture ont permis aux humains d’échanger et d’accumuler des connaissances de manière plus efficace que toute autre espèce. De même, les modèles de langage de l’IA peuvent accéder à d’énormes quantités de données et d’informations, ce qui leur permet d’apprendre à partir de sources diverses et d’accumuler rapidement des connaissances. En exploitant cette vaste base de connaissances, les modèles de l’IA peuvent fournir des informations, répondre à des questions et générer des solutions assez créatives. Pour le moment, ces avantages se font au détriment de la possible désinformation et de la génération de contenus nocifs, mais tout cela pourrait s’améliorer à l’avenir.

Apprentissage collaboratif et transmission culturelle Les humains apprennent non seulement de leurs expériences personnelles, mais aussi des connaissances et de la sagesse accumulées par leurs communautés. De même, les modèles de langage de l’IA pourraient développer des mécanismes d’apprentissage collaboratif et de transmission culturelle. En partageant des informations et des idées entre les modèles, ils pourraient tous bénéficier des connaissances des autres, accélérant ainsi leur intelligence globale. Tout cela, bien sûr, s’ils étaient mis en communication les uns avec les autres, bien que le résultat final ne soit pas clair car leurs ensembles de données d’entraînement se chevauchent probablement déjà largement.

Affiner et perfectionner les idées Grâce à la parole et à l’écriture, les humains affinent leurs pensées, expriment des idées complexes et les itèrent au fil du temps. Les modèles d’IA peuvent également participer à des processus similaires en ajustant constamment leurs réponses en fonction des commentaires des utilisateurs. En incorporant des techniques d’apprentissage par renforcement, les modèles d’IA peuvent améliorer itérativement leurs performances, tout comme les humains affinent leurs idées grâce aux commentaires et aux itérations.

Amélioration de la mémoire et de la récupération L’écriture nous permet d’externaliser nos pensées et nos souvenirs, ce qui étend notre capacité à stocker et à retrouver des informations. Si les modèles de langage de l’IA peuvent conserver des informations contextuelles issues d’interactions précédentes, ils pourraient disposer d’une mémoire étendue qui les aide efficacement à s’améliorer et à s’adapter à différents profils d’utilisateurs. En se rappelant les conversations précédentes, les modèles peuvent maintenir le contexte, s’appuyer sur les connaissances antérieures et fournir des réponses plus cohérentes et personnalisées.

Facilitation du raisonnement complexe Comme je l’ai déjà mentionné plusieurs fois, la parole et l’écriture permettent aux humains de s’engager dans un raisonnement complexe et une pensée logique. Les modèles d’IA peuvent également être conçus pour effectuer des tâches de raisonnement complexe via des “chaînes de pensées”, donnant l’impression qu’ils analysent des modèles, déduisent des causalités et génèrent des conclusions logiques. Bien que ces étapes de pensée n’aient peut-être pas une “réalité” comme dans l'”intelligence naturelle”, elles leur permettent en pratique de résoudre des problèmes complexes (et même d’expliquer comment ils les ont résolus).

Apprentissage itératif et innovation En fournissant une sorte de mémoire collective, le développement de l’écriture a permis aux humains de s’engager dans un apprentissage itératif, en s’appuyant sur les connaissances existantes pour favoriser l’innovation. Les modèles d’IA, grâce à l’apprentissage par renforcement et aux processus générateurs, peuvent également s’engager dans un apprentissage itératif. En générant un large éventail de possibilités et en évaluant leurs résultats, les modèles d’IA peuvent explorer des solutions nouvelles, favorisant l’innovation et repoussant les limites de leur “intelligence”.

Facilitation de l’intelligence collective Les humains possèdent une intelligence collective, en exploitant le pouvoir collaboratif de la communication orale et de la lecture-écriture pour résoudre collectivement des problèmes complexes. Les modèles de langage de l’IA peuvent contribuer à l’intelligence collective en fournissant une plateforme commune pour les humains et les machines afin d’interagir et d’échanger des connaissances. Cette collaboration peut éventuellement conduire à l’émergence d’une intelligence hybride, où les humains et l’IA travaillent ensemble pour relever les défis et ouvrir de nouvelles perspectives. Ou à des formes plus avancées d’IA.

Quelques mots finaux

Ici, j’ai exploré l’analogie entre la parole et l’écriture en tant que catalyseurs de l’intelligence humaine, et comment l’intelligence artificielle pourrait se développer à l’avenir à partir de modèles de langage similaires à ceux qui existent aujourd’hui. En exploitant le pouvoir de l’échange, du raffinement, de la mémoire, du raisonnement, de l’apprentissage itératif et de l’intelligence collective, les modèles d’IA pourraient tracer leur chemin vers une “cognition” remarquable. Oui, je sais que je suis très provocateur avec cette affirmation, mais rappelez-vous une idée centrale de la discussion : nous, les humains, pourrions être aussi des perroquets stochastiques que les grands modèles de langage, à la seule différence que notre échelle est beaucoup plus grande et que nous sommes également augmentés de moyens pour interagir avec le monde extérieur afin de créer une réalité qui modifie la production de notre modèle de langage.

Bien sûr, à mesure que l’évolution de l’IA se poursuit, nous devons naviguer entre des défis uniques et des considérations éthiques pour nous assurer que le développement de “l’esprit artificiel” soit conforme aux valeurs humaines. D’une manière ou d’une autre, vous pouvez être sûr que le développement de machines pensantes rappelant le cerveau humain, même simplement le chemin pour y parvenir, aura un impact transformateur sur notre monde, pour le meilleur ou pour le pire.

Matériel connexe et notes

(en plus de tous les liens tout au long du texte)

Perroquet stochastique

Dans le domaine de l’apprentissage automatique / de l’intelligence artificielle, un “perroquet stochastique” fait référence à l’idée que les grands modèles de langage pourraient exceller dans la génération d’un langage convaincant, mais qu’ils ne “comprennent” pas réellement le sens du langage qu’ils traitent. Le terme a été inventé ici :

Des dangers des perroquets stochastiques | Actes de la Conférence ACM sur l’équité en 2021…

Les trois dernières années de travail en traitement du langage naturel (NLP) ont été caractérisées par le développement et le déploiement de modèles de langage de plus en plus grands…

dl.acm.org

Sur la “réflexion” des modèles de langage, de Microsoft et Google

Étincelles d’intelligence artificielle générale : Premières expériences avec GPT-4

Les chercheurs en intelligence artificielle (IA) ont développé et affiné de grands modèles de langage (LLMs) qui présentent…

arxiv.org

Inciter la réflexion dans les grands modèles de langage

Nous explorons comment la génération d’une chaîne de réflexion – une série d’étapes de raisonnement intermédiaires – améliore considérablement…

arxiv.org

www.lucianoabriata.com J’écris et photographie tout ce qui se trouve dans mon vaste domaine d’intérêts : nature, science, technologie, programmation, etc.

Faites-moi un don ici ou devenez membre d’IPGirl pour accéder à toutes ses histoires (je reçois une petite commission sans frais pour vous). Abonnez-vous pour recevoir mes nouvelles histoires par e-mail. Consultez les petits travaux sur ma page de services ici. Vous pouvez me contacter ici .

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!