Dévoiler les effets nuisibles de l’IA sur la communauté Trans

Reveal harmful effects of AI on the Trans community.

Les dangers des logiciels de reconnaissance de genre, des modèles médicaux inadéquats et de l’amplification de contenu transphobe

Les discussions sur les risques de l’IA gravitent souvent autour des dangers hypothétiques de l’intelligence artificielle générale (IAG) et des scénarios apocalyptiques. Les robots ne vont pas prendre le contrôle du monde. Pourtant, le niveau actuel de l’IA pose des risques tangibles. Particulièrement pour la communauté trans et non conforme au genre qui a déjà été impactée par cette technologie.

Nous allons exposer les dangers pour cette communauté en mettant l’accent sur :

• La reconnaissance automatique de genre
• Les limites des modèles médicaux
• L’amplification de contenu transphobe sur les réseaux sociaux

Alors que la communauté trans ressent les conséquences immédiates, ces dangers nous affectent tous. Ils propagent la haine et limitent la richesse de la diversité, restreignant notre capacité collective à nous exprimer pleinement. Nous devons comprendre comment notre rôle en tant que professionnels de la technologie peut soutenir les personnes trans et créer une société plus forte.

Nous en sommes à un point où nous pouvons déployer l’IA à grande échelle, seulement parce que nous disposons d’une quantité importante de données et de puissance de calcul. Le souci est que l’IA ne relève pas les défis éthiques.

• Analyse de groupe multiple en modélisation d’équations structurelles
• Dis-le une fois ! Répéter les mots n’aide pas l’IA.
• Rotation d’astreinte pour les opérations et le support un must pour les équipes de données.

— Alex Hanna

Filtres de visage

Nous allons nous familiariser avec les dangers à travers un exemple qui, à première vue, peut ne pas sembler sérieux. Si vous êtes sur les réseaux sociaux, vous savez ce qu’est un filtre de visage. Ils utilisent l’apprentissage automatique pour déformer votre visage, vous faire paraître vieux ou même transformer votre chien en personnage de Disney. La plupart conviendraient que ce ne sont que des plaisanteries inoffensives. En ce qui concerne le genre, les choses peuvent être plus compliquées. Bien que les conséquences négatives ne doivent pas être exagérées.

Je suis seulement un allié et je ne peux pas parler au nom des personnes trans. Il semble que, même parmi la communauté trans, les conséquences des filtres de changement de genre soient sujettes à débat. Ils peuvent vous permettre d’explorer votre identité et votre expression de genre. Cependant, ils peuvent également renforcer les stéréotypes de genre et exclure les personnes non-binaires. Certains ont même utilisé les filtres pour se moquer du processus de transition.

L’exploration du genre et des différents genres que celui qui vous a été assigné est une bonne chose, je l’encourage. Vous pourriez apprendre de nouvelles choses sur vous-même qui vous surprendront, et vous pourriez vous montrer plus bienveillant envers les personnes trans.

— Charlie Knight

Lorsque l’on discute de ce type de technologie, une distinction doit être faite entre les applications qui vous permettent de choisir un genre et celles qui tentent de le prédire. Par exemple, regardez la première vidéo de la compilation de filtres Pixar. L’algorithme a du mal lorsque les utilisateurs n’ont pas de caractéristiques masculines ou féminines traditionnelles.

Cela révèle le problème avec ce type d’applications : la technologie sous-jacente est basée sur l’hypothèse que vous pouvez prédire l’identité de genre de quelqu’un. C’est de la pseudo-science. Transposer cette hypothèse à d’autres applications peut avoir des conséquences importantes.

Reconnaissance automatique de genre (RAG)

La RAG ou le logiciel de reconnaissance de genre est une branche de l’apprentissage automatique qui tente de prédire le genre d’une personne. Cela se fait en analysant les caractéristiques faciales, la forme du corps, les vêtements, les modèles vocaux ou comportementaux. Cependant, le genre est complexe et ne peut pas être entièrement capturé par ces aspects. C’est particulièrement vrai en ce qui concerne les personnes trans.

Une étude sur 4 systèmes de RAG, vue dans Figure 1, a montré qu’ils confondent le genre des femmes trans à hauteur de 12,7 % et des hommes trans à hauteur de 29,5 % en moyenne. Cela est comparé à 1,7 % et 2,4 % pour les femmes cis et les hommes cis [1]. Ces systèmes ignorent également complètement les autres groupes de genre.

Il est irrespectueux de mal genrer les personnes trans. Cela peut également avoir des effets graves sur la santé mentale. Être constamment référé au genre avec lequel on ne s’identifie pas peut être à la fois épuisant et démoralisant. Maintenant, imaginez un monde où cela est automatisé et intégré dans nos systèmes quotidiens.

Vous n’avez pas besoin de réfléchir longtemps. Ces systèmes ont déjà été déployés :

• Une entreprise a automatisé une affiche publicitaire pour promouvoir une pizza pour les hommes et une salade pour les femmes
• L’opérateur de transport en commun de Berlin a offert une réduction de 21 % aux voyageuses
• Giggle, l’application de réseau social « réservée aux femmes » qui a rejeté les femmes trans
• Les conducteurs Uber trans ont vu leurs comptes suspendus par un système de sécurité de reconnaissance faciale

Le préjudice causé par ces types de systèmes est bien connu, au point que l’UE a été exhortée à les interdire.

Les modèles de soins de santé qui dépendent du genre

L’AGR implique l’apprentissage automatique où le genre est la variable cible. Des problèmes surviennent également lorsque nous incluons le genre en tant que caractéristique du modèle. Plus précisément, lorsque nous ne distinguons pas entre le sexe (genre assigné à la naissance) et le genre (rôles socialement construits). Ce problème est courant dans les modèles de soins de santé.

En médecine, le sexe et le genre sont souvent confondus. À tel point que le terme « médecine sexospécifique » a été proposé [2]. En fait, peu de données ont été collectées qui considèrent les personnes trans et d’autres groupes de genre comme une catégorie. Le résultat est des modèles formés en utilisant une seule caractéristique binaire – homme/femme, le sexe assigné à la naissance étant le proxy pour le sexe et le genre [3].

Les fausses hypothèses selon lesquelles le sexe et le genre sont binaires, statiques et concordants sont profondément ancrées dans le système médical.

— Kendra Albert, Maggie Delano

Le problème est qu’il y a de nombreux diagnostics et traitements où l’interaction entre le sexe et le genre est importante [4]. C’est vrai pour la prévention du VIH, la santé reproductive, la thérapie de remplacement hormonal et la santé mentale. En combinant le sexe et le genre en une seule variable, nous ignorons les personnes trans dans nos systèmes médicaux. Le résultat est des soins de santé moins bons par rapport à leurs homologues cisgenres.

L’amplification du contenu transphobe sur les réseaux sociaux

Jusqu’à présent, nous nous sommes concentrés sur des impacts plus directs. En ancrant les attentes de genre et en réduisant les performances des modèles, l’IA peut entraîner des expériences négatives pour les personnes trans. L’IA peut également avoir un impact moins direct. Cela consiste à influencer les opinions des autres sur les personnes trans.

Les algorithmes de recommandation sur les réseaux sociaux ont un seul objectif – vous garder sur la plateforme. Malheureusement, la colère, en particulier envers un groupe auquel vous n’appartenez pas, est efficace pour stimuler l’engagement [5]. Il y a également des préoccupations selon lesquelles les algorithmes peuvent renforcer les croyances préexistantes [6]. Cela consiste à ne recommander que des contenus similaires à ceux avec lesquels vous avez interagi dans le passé.

Le genre est au centre des normes et des attentes sociétales modernes. L’existence de personnes trans peut les remettre en question. Pour certains, cela est accueilli par la peur, la colère et une réticence à accepter les faits scientifiques. Ce sont des conditions propices à une augmentation de l’engagement et à la création de chambres d’écho transphobes.

Nous avons vu cela sur Facebook. Ici, les utilisateurs ont une compréhension biaisée et non factuelle des problèmes qui touchent les personnes trans. Comme on le voit dans Figure 2, les publications sur les questions trans sur les pages de droite ont obtenu près de deux fois plus d’interactions. La majorité d’entre elles sont sur des publications faites par des sites anti-trans.

Facebook n’est pas la seule plateforme ayant un problème. Après avoir interagi avec du contenu transphobe, TikTok vous entraîne dans un gouffre d’extrémisme, de haine et de violence. Mon expérience d’avoir été recommandé du contenu transphobe sur les vidéos courtes de YouTube est ce qui m’a motivé à écrire cet article, une expérience partagée par d’autres.

Le contenu sur ces plateformes cherche à pousser le faux récit selon lequel être trans est une idéologie ou une maladie mentale. Ce n’est pas vrai. Il tente également de détourner et de minimiser le débat des droits fondamentaux vers les sports, les salles de bains et les pronoms. Le plus insidieux cherche à reframer la poursuite de l’égalité comme une attaque contre les enfants.

La communauté trans ne représente aucun risque pour les enfants. Cependant, ce contenu leur pose un risque important. En 2023, 79 projets de loi anti-trans ont été adoptés aux États-Unis. Les réseaux sociaux sont considérés comme ayant contribué à ces changements de politique. Le contenu transphobe entraîne également des changements sociaux négatifs.

82% des personnes transgenres ont envisagé le suicide et 40% ont tenté de se suicider. Le facteur le plus important contribuant à ce chiffre est constitué d’insultes ou de remarques courantes et brèves [7]. Le même comportement que normalise et promeut le contenu anti-trans.

Des micro-agressions interpersonnelles ont contribué de manière unique et statistiquement significative aux tentatives de suicide à vie

— Ashley Austin, et. al.

Compte tenu de ces conséquences, les plateformes de médias sociaux ont une obligation morale de limiter ce contenu. Au minimum, le marquer comme étant faux et non scientifique. Nous devrions tous rejeter la transphobie. En tant que travailleurs de la technologie, nous devrions également utiliser nos positions uniques d’influence. Nous avons le pouvoir de faire reculer ces tendances et de façonner les systèmes même qui nuisent aux personnes trans.

Nous pouvons commencer par nous éduquer sur ce que signifie être trans. Nous pouvons encourager des données de formation inclusives et des équipes plus diversifiées. Nous devrions également plaider pour une réglementation visant à accroître la transparence, l’explicabilité et la surveillance humaine des systèmes d’IA. En le faisant, nous ne devrions pas nous laisser distraire par des scénarios de catastrophe hypothétiques, mais nous concentrer sur les risques immédiats de l’IA.

Tous les fonds de partenariat IPGirl de cet article seront versés à TGEU. Consultez les vidéos ci-dessous si vous voulez en apprendre davantage sur ce que signifie être transgenre ou comment être un meilleur allié. Bonne fête de la fierté 🙂

Que signifie être transgenre?

La neuroscience d’être transgenre

Trans 101 – Être un allié trans

Vous pouvez me trouver sur Mastodon | Twitter | YouTube | Newsletter – inscrivez-vous pour un accès GRATUIT à un cours Python SHAP

Rejoignez IPGirl avec mon lien de parrainage – Conor O’Sullivan

En tant que membre d’IPGirl, une partie de votre frais d’adhésion va aux écrivains que vous lisez et vous avez accès complet à toutes les histoires…

conorosullyds.medium.com

Références

[1] Scheuerman, M.K., Paul, J.M. et Brubaker, J.R., 2019. Comment les ordinateurs voient le genre: Une évaluation de la classification de genre dans les services commerciaux d’analyse faciale. Proceedings of the ACM on Human-Computer Interaction, 3 (CSCW), pp.1-33 https://docs.wixstatic.com/ugd/eb2cd9_963fbde2284f4a72b33ea2ad295fa6d3.pdf

[2] Campesi, I., Montella, A., Seghieri, G. et Franconi, F., 2021. Les soins de la personne nécessitent une approche du sexe et du genre. Journal of Clinical Medicine, 10 (20), p.4770. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8541070/

[3] Chen, I.Y., Pierson, E., Rose, S., Joshi, S., Ferryman, K. et Ghassemi, M., 2021. L’apprentissage automatique éthique en santé. Annual review of biomedical data science, 4, pp.123-144. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8362902/

[4] Albert, K. et Delano, M., 2022. Sex trouble: Glissement sexe/genre, confusion sexuelle et obsession sexuelle dans l’apprentissage automatique à partir des dossiers de santé électroniques. Patterns, 3 (8), p.100534. https://www.sciencedirect.com/science/article/pii/S2666389922001313

[5] Rathje, S., Van Bavel, J.J. et Van Der Linden, S., 2021. L’animosité envers les groupes extérieurs favorise l’engagement sur les médias sociaux. Proceedings of the National Academy of Sciences, 118 (26), p.e2024292118. https://www.pnas.org/doi/abs/10.1073/pnas.2024292118

[6] Jiang, R., Chiappa, S., Lattimore, T., György, A. et Kohli, P., janvier 2019. Boucles de rétroaction dégénérées dans les systèmes de recommandation. Dans les actes de la Conférence AI, éthique et société 2019 AAAI/ACM (pp. 383–390). https://arxiv.org/pdf/1902.10730.pdf

[7] Austin, A., Craig, S.L., D’Souza, S. et McInroy, L.B., 2022. Suicidality chez les jeunes transgenres : élucidation du rôle des facteurs de risque interpersonnels. Journal of interpersonal violence, 37 (5–6), pp.NP2696-NP2718. https://pubmed.ncbi.nlm.nih.gov/32345113/

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!