Cartes de modèle

'Model cards'

Introduction

Les fiches de modèle sont un cadre de documentation important pour comprendre, partager et améliorer les modèles d’apprentissage automatique. Lorsqu’elles sont bien réalisées, une fiche de modèle peut servir d’objet frontière, un artefact unique accessible aux personnes ayant des antécédents et des objectifs différents pour comprendre les modèles – y compris les développeurs, les étudiants, les décideurs, les éthiciens et ceux qui sont impactés par les modèles d’apprentissage automatique.

Aujourd’hui, nous lançons un outil de création de fiches de modèle et un guide de rédaction de fiches de modèle, qui détaille comment remplir les fiches de modèle, les études utilisateurs et l’état de l’art de la documentation en apprentissage automatique. Ce travail, qui s’appuie sur de nombreuses personnes et organisations, met l’accent sur l’inclusion de personnes ayant des antécédents et des rôles différents. Nous espérons qu’il servira de tremplin sur la voie d’une documentation améliorée en apprentissage automatique.

En résumé, nous annonçons aujourd’hui la sortie de :

Un outil de création de fiches de modèle, pour faciliter la création de fiches sans avoir besoin de programmer, et pour aider les équipes à partager le travail des différentes sections.
Un modèle de fiche de modèle mis à jour, publié dans la bibliothèque huggingface_hub, rassemblant le travail de rédaction de fiches de modèle dans le milieu universitaire et dans l’industrie.
Un modèle de fiche de modèle annoté, qui détaille comment remplir la fiche.
Une étude utilisateur sur l’utilisation des fiches de modèle chez Hugging Face.
Une analyse du paysage et une revue de littérature de l’état de l’art de la documentation des modèles.

Les fiches de modèle à ce jour

Depuis que les fiches de modèle ont été proposées par Mitchell et al. (2018), inspirées par les principaux efforts de cadre de documentation tels que les déclarations de données pour le traitement automatique du langage naturel (Bender et Friedman, 2018) et les fiches techniques pour les ensembles de données (Gebru et al., 2018), le paysage de la documentation en apprentissage automatique s’est élargi et développé. De nombreux outils et modèles de documentation pour les données, les modèles et les systèmes d’apprentissage automatique ont été proposés et développés – reflétant le travail incroyable de centaines de chercheurs, de membres de la communauté impactés, de défenseurs et d’autres parties prenantes. Des discussions importantes sur la relation entre la documentation en apprentissage automatique et les théories du changement en matière d’intelligence artificielle responsable ont également façonné ces développements dans l’écosystème de la documentation en apprentissage automatique.

Le travail réalisé à ce jour sur la documentation en apprentissage automatique a été réalisé pour différents publics. Nous réunissons bon nombre de ces idées dans le travail que nous partageons aujourd’hui.

Notre travail

Notre travail présente un aperçu de l’état actuel des fiches de modèle et de leur évolution future. Nous avons réalisé une analyse approfondie du paysage croissant des outils de documentation en apprentissage automatique et mené des entretiens utilisateur au sein de Hugging Face pour compléter notre compréhension des opinions diverses sur les fiches de modèle. Nous avons également créé ou mis à jour des dizaines de fiches de modèle pour des modèles d’apprentissage automatique sur la plateforme Hugging Face Hub, et en nous appuyant sur toutes ces expériences, nous proposons un nouveau modèle de fiche de modèle.

Normalisation de la structure des fiches de modèle

Grâce à nos recherches préliminaires et à nos études utilisateur, qui sont discutées plus en détail dans le guide de rédaction, nous avons cherché à établir une nouvelle norme de “fiches de modèle” telle que comprise par le grand public.

Sur la base de ces résultats, nous avons créé un nouveau modèle de fiche de modèle qui non seulement standardise la structure et le contenu des fiches de modèle HF, mais fournit également du texte de prompt par défaut. Ce texte vise à faciliter la rédaction des sections de la fiche de modèle, en mettant particulièrement l’accent sur la section Biais, Risques et Limitations.

Accessibilité et inclusion

Afin de réduire les obstacles à la création de fiches de modèle, nous avons conçu l’outil d’écriture de fiches de modèle, un outil doté d’une interface graphique utilisateur (GUI) qui permet aux personnes et aux équipes ayant des compétences et des rôles différents de collaborer facilement et de créer des fiches de modèle, sans avoir besoin de coder ou d’utiliser le markdown.

L’outil d’écriture encourage ceux qui n’ont pas encore rédigé de fiches de modèle à les créer plus facilement. Pour ceux qui ont déjà rédigé des fiches de modèle, cette approche les invite à ajouter des informations supplémentaires – en mettant l’accent sur les aspects éthiques de la documentation des modèles.

Alors que l’apprentissage automatique est de plus en plus lié à différents domaines, les processus collaboratifs et open source en apprentissage automatique qui mettent l’accent sur l’accessibilité, l’éthique et l’inclusion font partie intégrante du cycle de vie de l’apprentissage automatique et constituent un tremplin dans la documentation en apprentissage automatique.

La sortie d’aujourd’hui s’inscrit dans un plus vaste écosystème de travail de documentation en apprentissage automatique : la documentation des données et des modèles a été prise en charge par de nombreuses entreprises technologiques, dont Hugging Face 🤗. Nous avons donné la priorité aux “fiches de dépôt” pour les fiches de jeux de données et les fiches de modèle, en mettant l’accent sur la multidisciplinarité. Dans la continuité de ce travail, l’outil de création de fiches de modèle met l’accent sur l’inclusion, en fournissant des conseils sur la mise en forme et des invites pour faciliter la création de fiches pour des personnes ayant des antécédents différents.

Appel à l’action

Regardons vers l’avenir

Ce travail est un “instantané” de l’état actuel des fiches de modèle, informé par une analyse du paysage des nombreux artefacts de documentation ML qui ont été instanciés. Le livre de modèle et ces résultats représentent une perspective parmi plusieurs sur l’état actuel et les visions plus aspirantes des fiches de modèle.

L’écosystème Hugging Face continuera à faire progresser les méthodes qui simplifient la création de cartes de modèle grâce au code et aux interfaces utilisateur, en intégrant davantage de fonctionnalités directement dans les référentiels et les produits.
À mesure que nous développons davantage d’outils de modèle tels que Evaluate on the Hub, nous intégrerons leur utilisation dans le flux de travail de développement de la carte de modèle. Par exemple, à mesure que l’évaluation automatique de la performance du modèle en fonction de facteurs désagrégés devient plus facile, il sera possible d’importer ces résultats dans la carte de modèle.
Il reste encore des études à faire pour avancer dans la mise en correspondance des modèles de recherche et des fiches de modèle, telles que la création d’un pipeline de documentation d’un article de recherche vers un modèle, facilitant ainsi la création de la carte de modèle à partir d’un article. Cela permettrait d’étendre davantage le domaine d’application et de standardiser davantage la documentation des modèles.

Nous continuons à en apprendre davantage sur la création et l’utilisation des fiches de modèle, ainsi que sur l’effet des fiches sur l’utilisation des modèles. Sur la base de ces apprentissages, nous mettrons à jour le modèle de carte, les instructions et les intégrations Hub.

Alors que nous nous efforçons d’intégrer davantage de voix et de cas d’utilisation des parties prenantes pour les fiches de modèle, mettez notre outil d’écriture de fiches de modèle en favoris et essayez-le !

Nous sommes impatients de connaître vos réflexions sur les fiches de modèle, notre interface graphique d’écriture de fiches de modèle et la manière dont la documentation IA peut renforcer votre domaine.🤗

Remerciements

Cette publication n’aurait pas été possible sans les importantes contributions d’Omar Sanseviero, Lucain Pouget, Julien Chaumond, Nazneen Rajani et Nate Raw.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Was this article helpful?

93 out of 132 found this helpful