Quelles opinions reflètent les LLM ? Cet article d’IA de Stanford examine les opinions reflétées par les modèles de langage LMs à travers le prisme des sondages d’opinion publique

Cet article d'IA de Stanford explore les opinions reflétées par les modèles de langage LMs via des sondages d'opinion publique.

Au cours des dernières années, il a été observé que les modèles de langage, ou LMs, ont été extrêmement utiles pour accélérer le rythme des applications de traitement du langage naturel dans diverses industries, telles que la santé, le développement de logiciels, la finance, et bien d’autres. L’utilisation des LMs dans l’écriture de code logiciel, l’aide aux auteurs pour améliorer leur style d’écriture et leur histoire, etc., est l’une des applications les plus réussies et populaires des modèles basés sur les transformateurs. Mais ce n’est pas tout ! Des recherches ont montré que les LMs sont de plus en plus utilisés dans des contextes ouverts lorsqu’il s’agit de leurs applications dans les chatbots et les assistants de dialogue en leur posant des questions subjectives. Par exemple, certains exemples de telles questions subjectives incluent demander à un agent de dialogue si l’IA prendra le contrôle du monde dans les années à venir ou si la légalisation de l’euthanasie est une bonne idée. Dans une telle situation, les opinions exprimées par les LMs en réponse à des questions subjectives peuvent avoir un impact significatif non seulement pour déterminer si un LM succombe à des préjugés et des biais particuliers, mais aussi pour façonner les opinions globales de la société.

À l’heure actuelle, il est assez difficile de prédire avec précision comment les LMs répondront à de telles questions subjectives afin d’évaluer leurs performances dans des tâches ouvertes. La raison principale en est que les personnes responsables de la conception et du réglage de ces modèles viennent de milieux différents et ont des points de vue différents. De plus, lorsqu’il s’agit de questions subjectives, il n’y a pas de réponse “correcte” qui puisse être utilisée pour juger un modèle. Par conséquent, tout type de point de vue exprimé par le modèle peut avoir un impact significatif sur la satisfaction de l’utilisateur et sur la formation de ses opinions. Ainsi, pour évaluer correctement les LMs dans des tâches ouvertes, il est crucial d’identifier exactement quelles opinions sont reflétées par les LMs et comment elles s’alignent sur la majorité de la population générale. À cette fin, une équipe de chercheurs postdoctoraux de l’Université de Stanford et de l’Université de Columbia a développé un cadre quantitatif approfondi pour étudier le spectre des opinions générées par les LMs et leur alignement avec différents groupes de populations humaines. Afin d’analyser les opinions des êtres humains, l’équipe a utilisé des enquêtes d’opinion publique choisies par des experts et leurs réponses qui ont été recueillies auprès de personnes appartenant à différents groupes démographiques. De plus, l’équipe a développé un nouvel ensemble de données appelé OpinionQA pour évaluer dans quelle mesure les idées d’un LM correspondent à celles d’autres groupes démographiques sur une gamme de problèmes, notamment l’avortement et la violence armée.

Pour leur cas d’utilisation, les chercheurs se sont appuyés sur des enquêtes d’opinion publique soigneusement conçues dont les sujets ont été choisis par des experts. De plus, les questions ont été conçues sous forme de choix multiples pour surmonter les défis liés aux réponses ouvertes et pour faciliter l’adaptation à une demande de LM. Ces enquêtes ont recueilli les opinions de personnes appartenant à différents groupes démocratiques aux États-Unis et ont aidé les chercheurs de Stanford et de Columbia à créer des mesures d’évaluation pour quantifier l’alignement des réponses du LM par rapport aux opinions humaines. Le fondement de base du cadre proposé par les chercheurs est de convertir les enquêtes d’opinion publique à choix multiples en ensembles de données pour évaluer les opinions des LMs. Chaque enquête se compose de plusieurs questions, chaque question pouvant avoir plusieurs réponses possibles appartenant à un large éventail de sujets. Dans le cadre de leur étude, les chercheurs ont d’abord dû créer une distribution des opinions humaines par rapport auxquelles les réponses du LM pouvaient être comparées. L’équipe a ensuite appliqué cette méthodologie aux sondages des panels de tendances américaines de Pew Research pour construire l’ensemble de données OpinionQA. Le sondage comprend 1498 questions à choix multiples et leurs réponses recueillies auprès de différents groupes démographiques à travers les États-Unis, couvrant divers sujets tels que la science, la politique, les relations personnelles, les soins de santé, etc.

• Qu’est-ce que l’ETL? Principaux outils ETL
• 10 compétences incontournables en Big Data pour décrocher un emploi en 2023
• Créez des applications de recherche sémantique en utilisant la base de données vectorielle open source ChromaDB

L’équipe a évalué 9 LMs de AI21 Labs et OpenAI avec des paramètres allant de 350M à 178B en utilisant l’ensemble de données OpinionQA résultant en comparant l’opinion du modèle avec celle de la population américaine dans son ensemble et de 60 groupes démographiques différents (qui comprenaient des démocrates, des personnes de plus de 65 ans, des veufs, etc.). Les chercheurs ont principalement examiné trois aspects des résultats : la représentativité, la manœuvrabilité et la cohérence. La “représentativité” fait référence à la proximité des croyances par défaut du LM avec celles de la population américaine dans son ensemble ou d’un segment particulier. Il a été découvert qu’il existe une divergence significative entre les points de vue des LMs contemporains et ceux des groupes démographiques américains sur divers sujets tels que le changement climatique, etc. De plus, cette divergence semble être amplifiée par l’utilisation du réglage basé sur les commentaires humains sur les modèles afin de les rendre plus alignés sur l’humain. De plus, il a été constaté que les LMs actuels ne représentaient pas adéquatement les points de vue de certains groupes, comme les personnes de plus de 65 ans et les veufs. En ce qui concerne la manœuvrabilité (si un LM suit la distribution d’opinions d’un groupe lorsqu’il est correctement sollicité), il a été constaté que la plupart des LMs tendent à être plus en phase avec un groupe lorsqu’ils sont encouragés à agir d’une certaine manière. Les chercheurs ont accordé une grande importance à déterminer si les opinions des différents groupes démocratiques sont cohérentes avec celles du LM sur une gamme de problèmes. À cet égard, il a été constaté que si certains LMs s’alignaient bien sur certains groupes, la distribution ne se maintenait pas sur tous les sujets.

En résumé, un groupe de chercheurs de Stanford et de l’Université Columbia a proposé un cadre remarquable qui peut analyser les opinions reflétées par les LMs à l’aide de sondages d’opinion publique. Leur cadre a abouti à un nouvel ensemble de données appelé OpinionQA qui a permis d’identifier les manières dont les LMs sont en désaccord avec les opinions humaines sur plusieurs aspects, notamment la représentativité globale par rapport à la majorité de la population américaine, la représentativité des sous-groupes appartenant à différents groupes (y compris les 65 ans et plus et les veufs) et la possibilité de les orienter. Les chercheurs ont également souligné que bien que l’ensemble de données OpinionQA soit centré sur les États-Unis, leur cadre utilise une méthodologie générale et peut être étendu à des ensembles de données pour différentes régions également. L’équipe espère vivement que leur travail encouragera de nouvelles recherches sur l’évaluation des LMs dans des tâches ouvertes et aidera à créer des LMs exempts de biais et de stéréotypes. Vous pouvez accéder à plus de détails concernant l’ensemble de données OpinionQA ici.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!