Une nouvelle recherche en IA introduit REV un changement de paradigme dans la recherche en IA – une nouvelle mesure informationnelle évaluant les informations nouvelles et pertinentes pour les étiquettes dans les justifications en texte libre.

Une recherche en IA introduit REV, une nouvelle mesure informationnelle évaluant les informations pertinentes pour les étiquettes dans les justifications en texte libre.

Les explications des modèles se sont révélées essentielles pour la confiance et l’interprétabilité dans le traitement automatique du langage naturel (TALN). Les justifications en texte libre, qui fournissent une explication en langage naturel de la prédiction d’un modèle, ont gagné en popularité en raison de leur adaptabilité pour solliciter le processus de réflexion qui a conduit au choix du modèle, les rapprochant ainsi des explications humaines. Cependant, les métriques existantes pour l’évaluation des explications en texte libre sont encore principalement axées sur l’exactitude et se concentrent étroitement sur la capacité d’une justification à aider un modèle (proxy) à prédire l’étiquette qu’elle explique. Ces métriques ne fournissent aucune indication sur les nouvelles données fournies par la justification à l’entrée d’origine, ce qui expliquerait pourquoi l’étiquette a été choisie, la fonction précise qu’une justification est censée remplir. 

Par exemple, même si elles fournissent des quantités différentes d’informations fraîches et pertinentes, les deux justifications r*1 et r*1 dans la figure 1 seraient considérées comme également importantes selon les mesures actuelles. Pour résoudre ce problème, ils introduisent dans cet article une évaluation automatique des justifications en texte libre selon deux dimensions : (1) si la justification soutient (c’est-à-dire prédit) l’étiquette visée, et (2) combien d’informations supplémentaires elle ajoute à la justification de l’étiquette par rapport à ce qui est déjà présent dans l’entrée. 

Par exemple, la justification r^1,b dans la figure 1 contredit (1) car elle n’anticipe pas l’étiquette “apprécier la nature”. Bien que la justification r^1,a soutienne l’étiquette, elle ne fournit aucune nouvelle information à ce qui est déjà indiqué dans l’entrée x pour la soutenir ; en conséquence, elle viole la clause (2). Les deux exigences de la justification r*1 sont remplies : elle fournit des informations supplémentaires et pertinentes qui vont au-delà de l’entrée pour soutenir l’étiquette. Les deux justifications r^1,a et r^1,b seront pénalisées dans leur évaluation tandis que r1,a et r1,b seront récompensées. Les chercheurs de l’Université de Virginie, de l’Institut Allen pour l’IA, de l’Université de Californie du Sud et de l’Université de Washington dans cette étude fournissent REV2, un cadre d’information théorique pour évaluer les justifications en texte libre selon les deux dimensions précédemment décrites qu’ils ont modifiées. 

• Comment changer de carrière du marketing à la science des données?
• Réduction de l’empreinte carbone dans la formation de l’IA par optimisation
• Guide introductif complet du traitement automatique de la parole avec les Transformers

REV est basé sur l’information V-conditionnelle, qui mesure dans quelle mesure une représentation contient des informations au-delà de celle d’une représentation de référence et est disponible pour une famille de modèles V. Ils considèrent toute justification vide qui ne fait rien de plus que d’associer de manière déclarative une entrée à une étiquette prédéterminée sans ajouter d’informations nouvelles qui éclaireraient le processus de prise de décision derrière l’étiquette comme leur représentation de référence. Lors de l’évaluation des justifications, REV adapte l’information V-conditionnelle. Pour ce faire, ils comparent deux représentations : l’une provenant d’un modèle d’évaluation formé pour produire l’étiquette donnée l’entrée et la justification, et l’autre provenant d’un autre modèle d’évaluation pour la même tâche, mais ne tenant compte que de l’entrée (sous le couvert d’une justification vide). 

D’autres métriques ne peuvent pas évaluer les informations nouvelles et pertinentes pour l’étiquette dans les justifications car ils ne tiennent pas compte des justifications vides. Pour deux tâches de raisonnement, la réponse à des questions de bon sens et l’inférence en langage naturel, sur quatre référentiels, ils offrent des évaluations avec REV pour les justifications dans leurs études. De nombreuses évaluations quantitatives montrent comment REV peut fournir des évaluations selon de nouveaux axes pour les justifications en texte libre tout en étant plus en phase avec les jugements humains que les mesures actuelles. Ils fournissent également des comparaisons pour montrer la sensibilité de REV à différents niveaux de perturbations de l’entrée. De plus, l’évaluation avec REV éclaire pourquoi les performances des prédictions ne sont pas toujours améliorées par les justifications découvertes par incitation en chaîne de pensée.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!