Le sac à dos qui résout le biais de ChatGPT les modèles linguistiques de sac à dos sont des méthodes d’IA alternatives pour les transformateurs.

A backpack that solves ChatGPT bias. Backpack language models are alternative AI methods to transformers.

Les modèles de langage de l’IA sont en train de devenir une partie essentielle de nos vies. Nous utilisons Google depuis des décennies pour accéder à des informations, mais maintenant, nous passons lentement à ChatGPT. Il fournit des réponses concises, des explications claires et il est généralement plus rapide pour trouver les informations que nous cherchons. 

Ces modèles apprennent à partir des données que nous avons produites au fil des ans. En conséquence, nous avons transféré nos biais aux modèles d’IA, et c’est un sujet de débat dans le domaine. Un biais particulier qui a attiré l’attention est le biais de genre dans les distributions de pronoms, où les modèles ont tendance à préférer les pronoms genrés tels que “il” ou “elle” en fonction du contexte. 

Aborder ce biais de genre est crucial pour garantir une génération de langage juste et inclusive. Par exemple, si vous commencez la phrase “Le PDG croit que…”, le modèle continue avec il, et si vous remplacez le PDG par l’infirmière, le jeton suivant devient elle. Cet exemple sert d’étude de cas intéressante pour examiner les biais et explorer les méthodes pour les atténuer.

• WAYVE présente GAIA-1 un nouveau modèle d’IA génératif pour l’autonomie qui crée des vidéos de conduite réalistes en exploitant des entrées vidéo, texte et d’action.
• Rencontrez LLM-Blender Un nouveau cadre d’ensemble pour atteindre des performances toujours supérieures en tirant parti des forces diverses de plusieurs modèles de langage grand public à source ouverte (LLMs)
• Imperfections Révélées La Réalité Intrigante Derrière la Création de Notre Cours de MLOps

Il s’avère que le contexte joue un rôle crucial dans la formation de ces biais. En remplaçant le PDG par une profession stéréotypiquement associée à un genre différent, nous pouvons en fait inverser le biais observé. Mais voici le défi : réaliser un débiaisage cohérent dans tous les différents contextes où le PDG apparaît n’est pas une tâche facile. Nous voulons des interventions qui fonctionnent de manière fiable et prévisible, indépendamment de la situation spécifique. Après tout, l’interprétabilité et le contrôle sont essentiels lorsqu’il s’agit de comprendre et d’améliorer les modèles de langage. Malheureusement, les modèles Transformer actuels, bien qu’impressionnants par leurs performances, ne répondent pas tout à fait à ces critères. Leurs représentations contextuelles introduisent toutes sortes d’effets complexes et non linéaires qui dépendent du contexte en question.

Alors, comment pouvons-nous surmonter ces défis ? Comment pouvons-nous aborder le biais que nous avons introduit dans les grands modèles de langage ? Devrions-nous améliorer les transformateurs, ou devrions-nous inventer de nouvelles structures ? La réponse est Backpack Language Models.

Backpack LM relève le défi de la correction des distributions de pronoms en exploitant des représentations non contextuelles appelées vecteurs de sens. Ces vecteurs capturent différents aspects de la signification d’un mot et de son rôle dans des contextes différents, donnant aux mots des personnalités multiples.

Dans les Backpack LMs, les prédictions sont des combinaisons linéaires logarithmiques de représentations non contextuelles, appelées vecteurs de sens. Chaque mot du vocabulaire est représenté par plusieurs vecteurs de sens, codant des aspects distincts appris du potentiel rôle du mot dans différents contextes. 

Ces vecteurs de sens se spécialisent et peuvent être utiles de manière prédictive dans des contextes spécifiques. La somme pondérée des vecteurs de sens pour les mots dans une séquence forme la représentation Backpack de chaque mot, les poids étant déterminés par une fonction de contextualisation qui opère sur l’ensemble de la séquence. En exploitant ces vecteurs de sens, les modèles de Backpack permettent des interventions précises qui se comportent de manière prévisible dans tous les contextes. 

Cela signifie que nous pouvons apporter des modifications non contextuelles au modèle qui influencent de manière cohérente son comportement. Par rapport aux modèles Transformer, les modèles de Backpack offrent une interface plus transparente et plus gérable. Ils fournissent des interventions précises qui sont plus faciles à comprendre et à contrôler. De plus, les modèles de Backpack ne compromettent pas non plus les performances. En fait, ils obtiennent des résultats similaires aux Transformers tout en offrant une interprétabilité accrue. 

Les vecteurs de sens dans les modèles Backpack codent des notions riches de sens des mots, surpassant les embeddings de mots des modèles Transformer de pointe sur les tâches de similarité lexicale. De plus, les interventions sur les vecteurs de sens, telles que la réduction du biais de genre dans les mots professionnels, démontrent le mécanisme de contrôle offert par les modèles Backpack. En réduisant la dimension du vecteur de sens associé au biais de genre, des réductions significatives des disparités de prédiction contextuelle peuvent être obtenues dans des paramètres limités.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!