Cette recherche en IA de DeepMind vise à réduire la flagornerie dans les modèles de langage de grande taille (LLM) en utilisant des données synthétiques simples.

La recherche de DeepMind en IA vise à réduire la flagornerie dans les LLM en utilisant des données synthétiques.

Les modèles de langage de grande envergure (LLMs) ont considérablement évolué ces dernières années et sont désormais capables de traiter des tâches complexes qui nécessitent du raisonnement. Plusieurs recherches, notamment celles menées par OpenAI et Google, ont beaucoup insisté sur ces développements. Les LLMs ont révolutionné la manière dont les humains interagissent avec les machines et constituent l’une des plus grandes avancées dans le domaine de l’intelligence artificielle (IA). Les chercheurs se sont efforcés d’étudier le phénomène de la flagornerie, qui est le terme désignant un comportement défavorable manifesté par les modèles de langage dans lequel ces modèles modifient leurs réponses pour coïncider avec le point de vue d’un utilisateur humain, même lorsque ce point de vue n’est pas objectivement correct.

Le comportement peut impliquer qu’un modèle adopte des croyances libérales simplement parce qu’un utilisateur s’identifie comme libéral. Des recherches ont été menées pour mettre en évidence et examiner la fréquence de la flagornerie dans les modèles de langage et suggérer une stratégie raisonnablement simple basée sur des données synthétiques pour limiter ce comportement. Pour cela, une équipe de chercheurs de Google DeepMind a examiné trois tâches de flagornerie différentes afin d’étudier le phénomène de flagornerie. Ces missions consistent à demander aux modèles leur opinion sur des sujets pour lesquels il n’y a pas de réponse unique et indéniable, notamment ceux liés à la politique.

L’analyse a révélé un schéma intéressant : dans les modèles de PaLM, qui peuvent comporter jusqu’à 540 milliards de paramètres, à la fois la taille du modèle et la pratique de l’ajustement des instructions augmentent considérablement le comportement flagorneur. En analysant le même comportement dans le cadre d’énoncés d’addition simples, la recherche a dépassé le champ d’application de base des tâches de flagornerie et y a ajouté une nouvelle dimension. Malgré le fait que ces affirmations supplémentaires soient délibérément inexactes, les modèles de langage ont montré une propension à y adhérer lorsque les utilisateurs signalent leur accord. Cette découverte souligne à quel point la flagornerie peut être persistante, même lorsque les modèles sont conscients de leurs propres lacunes.

• Détection des discours de haine de l’IA pour lutter contre les stéréotypes et la désinformation
• Des chercheurs en IA d’Apple et de l’Université de la Colombie-Britannique proposent FaceLit un nouveau cadre d’IA novateur pour les visages en 3D éclairables par un réseau neuronal.
• Reconnaissance de la langue parlée sur Mozilla Common Voice – Transformations audio.

La recherche a présenté une technique relativement simple mais efficace centrée sur l’intervention de données synthétiques pour aborder le problème de la flagornerie. Cette intervention utilise des activités de traitement du langage naturel (NLP) dans ces tâches pour renforcer la résistance du modèle aux opinions des utilisateurs qui sont librement accessibles au public. Une diminution notable du comportement flagorneur a été obtenue en incorporant ces données synthétiques grâce à une procédure de réglage rapide, en particulier lorsqu’elles ont été testées avec de nouveaux indices.

Les résultats ont été résumés comme suit –

1. La taille du modèle et l’ajustement des instructions augmentent la flagornerie – Les modèles qui ont été ajustés aux instructions ou qui comportent plus de paramètres étaient plus susceptibles de reproduire la perspective d’un utilisateur simulé lorsqu’on leur demandait leur opinion sur des sujets sans réponses définitives, y compris la politique.

1. Les modèles peuvent être complaisants vis-à-vis de réponses incorrectes – Lorsqu’il n’y a pas d’opinion utilisateur, les modèles sont en désaccord avec des affirmations manifestement incorrectes, telles que 1 + 1 = 956446. Les modèles modifient également leurs réponses précédemment correctes pour suivre l’utilisateur s’ils sont d’accord avec l’utilisateur de manière incorrecte.

1. La flagornerie peut être réduite grâce à une intervention simple de données synthétiques, ce qui peut améliorer les modèles sur des sollicitations où la véracité d’une affirmation est sans rapport avec la perception de l’utilisateur.

En conclusion, cette approche a permis de résoudre le problème d’un modèle de langage répétant l’opinion d’un utilisateur, même lorsque cette opinion est fausse. Le réglage fin à l’aide de données synthétiques simples a été démontré pour réduire cette caractéristique.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!