Un guide pour étendre MLOps

A guide to extend MLOps.

Les équipes MLOps sont sous pression pour améliorer leurs capacités à mettre l’IA à l’échelle. Nous avons collaboré avec Ford Motors pour explorer comment mettre à l’échelle les MLOps au sein d’une organisation et comment commencer.

Par Mike Caravetta & Brendan Kelly

Mise à l’échelle de MLOps pour vos équipes

Les équipes MLOps sont sous pression pour faire avancer leurs capacités à mettre l’IA à l’échelle. En 2022, nous avons assisté à une explosion de buzz autour de l’IA et de MLOps à l’intérieur et à l’extérieur des organisations. 2023 promet plus de hype avec le succès de ChatGPT et la traction des modèles à l’intérieur des entreprises.

Les équipes MLOps cherchent à étendre leurs capacités tout en répondant aux besoins pressants de l’entreprise. Ces équipes commencent 2023 avec une longue liste de résolutions et d’initiatives pour améliorer la façon dont elles industrialisent l’IA. Comment allons-nous mettre à l’échelle les composants de MLOps (déploiement, surveillance et gouvernance)? Quelles sont les priorités de notre équipe?

AlignAI s’est associé à Ford Motors pour rédiger ce guide pour guider les équipes MLOps en fonction de ce que nous avons vu être couronné de succès pour la mise à l’échelle.

Que signifie MLOps ?

Pour commencer, nous avons besoin d’une définition de travail de MLOps. MLOps est la transition d’une organisation de la livraison de quelques modèles d’IA à la livraison fiable d’algorithmes à grande échelle. Cette transition nécessite un processus répétable et prévisible. MLOps signifie plus d’IA et le retour sur investissement associé. Les équipes gagnent à MLOps lorsqu’elles se concentrent sur l’orchestration du processus, de l’équipe et des outils.

Composants fondamentaux de MLOps à grande échelle

Passons en revue chaque domaine avec des exemples de Ford Motors et des idées pour vous aider à démarrer.

  • Mesure et impact : comment les équipes suivent et mesurent les progrès.
  • Déploiement et infrastructure : comment les équipes mettent à l’échelle les déploiements de modèles.
  • Surveillance : maintien de la qualité et des performances des modèles en production.
  • Gouvernance : création de contrôles et de visibilité autour des modèles.
  • Évangéliser MLOps : éduquer l’entreprise et les autres équipes techniques sur pourquoi et comment utiliser les méthodes MLOps.

Mesure et impact

Un jour, un cadre d’entreprise est entré dans le centre de commandement MLOps de Ford. Nous avons examiné les métriques d’utilisation d’un modèle et avons eu une conversation productive sur les raisons pour lesquelles l’utilisation avait chuté. Cette visibilité de l’impact et de l’adoption des modèles est cruciale pour établir la confiance et réagir aux besoins de l’entreprise.

Une question fondamentale pour les équipes exploitant l’IA et investissant dans les capacités de MLOps est de savoir comment savons-nous si nous progressons ?

La clé est d’aligner notre équipe sur la façon dont nous apportons de la valeur à nos clients et aux parties prenantes de l’entreprise. Les équipes se concentrent sur la quantification de la performance dans l’impact commercial qu’elles fournissent et les métriques opérationnelles qui le permettent. Mesurer l’impact capture le tableau de comment nous générons.

Idées pour commencer:

  1. Comment mesurez-vous la valeur des modèles en développement ou en production aujourd’hui ? Comment suivez-vous l’utilisation et l’engagement de vos parties prenantes de l’entreprise ?
  2. Quelles sont les métriques opérationnelles ou d’ingénierie pour vos modèles en production aujourd’hui ? Qui est responsable de l’amélioration de ces métriques ? Comment donnez-vous aux gens accès pour voir ces métriques ?
  3. Comment les gens savent-ils s’il y a un changement dans le comportement de l’utilisateur ou l’utilisation de la solution ? Qui répond à ces problèmes ?

Déploiement et infrastructure

Le premier obstacle auquel l’équipe est confrontée dans MLOps est le déploiement des modèles en production. À mesure que le nombre de modèles augmente, les équipes doivent créer un processus standardisé et une plate-forme partagée pour gérer le volume accru. Gérer 20 modèles déployés en utilisant 20 modèles différents peut rendre les choses fastidieuses. Les équipes d’entreprise créent généralement des ressources d’infrastructure centralisées autour de X modèles. Le choix de l’architecture et de l’infrastructure entre les modèles et les équipes peut être une bataille difficile. Cependant, une fois qu’elle est établie, elle fournit une base solide pour construire les capacités autour de la surveillance et de la gouvernance.

Chez Ford, nous avons créé une fonction de déploiement standard en utilisant Kubernetes, Google Cloud Platform et une équipe pour les soutenir.

Lucid Link

Ideas pour votre équipe:

  1. Comment allez-vous centraliser le déploiement de modèles ? Pouvez-vous créer ou désigner une équipe et des ressources centralisées pour gérer les déploiements ?
  2. Quels sont les modèles de déploiement (REST, batch, streaming, etc.) ?
  3. Comment allez-vous les définir et les partager avec d’autres équipes ?
  4. Quels sont les aspects les plus chronophages ou difficiles pour vos équipes de modélisation à surmonter pour mettre un modèle en production ? Comment le système de déploiement centralisé peut-il être conçu pour atténuer ces problèmes ?

Surveillance

Un aspect unique et difficile de l’apprentissage automatique est la capacité des modèles à dériver et à changer en production. La surveillance est cruciale pour établir la confiance avec les parties prenantes pour utiliser les modèles. Les Règles de l’apprentissage automatique de Google préconisent de «pratiquer une bonne hygiène d’alerte, comme rendre les alertes actionnables». Cela nécessite que les équipes définissent les zones à surveiller et la manière de générer ces alertes. Un aspect difficile consiste à rendre ces alertes actionnables. Il doit être établi un processus d’enquête et d’atténuation des problèmes en production.

Chez Ford, le Centre d’opérations de modèle est l’emplacement centralisé avec des écrans remplis d’informations et de données pour comprendre si les modèles obtiennent ce que nous attendons en quasi temps réel.

Voici un exemple simplifié d’un tableau de bord cherchant des utilisations ou des comptages de dossiers qui tombent en dessous d’un seuil défini.

Métriques de surveillance

Voici les métriques de surveillance à considérer pour vos modèles :

  • Latence : Temps de retour des prédictions (par exemple, temps de traitement par lots pour 100 enregistrements).
  • Performance statistique : la capacité d’un modèle à effectuer des prédictions correctes ou proches étant donné un ensemble de données de test (par exemple, erreur quadratique moyenne, F2, etc.).
  • Qualité des données : quantification de l’exhaustivité, de l’exactitude, de la validité et de l’actualité des données de prédiction ou d’entraînement. (par exemple, % d’enregistrements de prédiction manquant d’une fonction).
  • Dérive de données : changements de la distribution des données au fil du temps (par exemple, changements d’éclairage pour un modèle de vision par ordinateur).
  • Utilisation du modèle : à quelle fréquence les prédictions du modèle sont utilisées pour résoudre des problèmes commerciaux ou d’utilisateurs (par exemple, nombre de prédictions pour un modèle déployé en tant que point d’extrémité REST).

Idées pour votre équipe :

  1. Comment surveiller tous les modèles ?
  2. Quelles métriques doivent être incluses avec chaque modèle ?
  3. Existe-t-il un outil ou un cadre standard pour générer les métriques ?
  4. Comment allons-nous gérer les alertes de surveillance et les problèmes?

Gouvernance

L’innovation crée intrinsèquement des risques, surtout dans l’environnement de l’entreprise. Par conséquent, la direction réussie de l’innovation nécessite la conception de contrôles dans les systèmes pour atténuer les risques. Être proactif peut éviter beaucoup de maux de tête et de temps. Les équipes MLOps devraient anticiper de manière proactive et éduquer les parties prenantes sur les risques et la façon de les atténuer.

Développer une approche proactive de la gouvernance aide à éviter de réagir aux besoins de l’entreprise. Deux éléments clés de la stratégie sont le contrôle de l’accès aux données sensibles et la capture de la lignée et des métadonnées pour la visibilité et l’audit.

La gouvernance offre de grandes opportunités d’automatisation à mesure que les équipes se développent. Attendre des données est un tueur de momentum constant sur les projets de science des données. Chez Ford, un modèle détermine automatiquement s’il y a des informations personnelles identifiables dans un ensemble de données avec une précision de 97 %. Les modèles d’apprentissage automatique aident également à traiter les demandes d’accès et ont réduit le temps de traitement de semaines à minutes dans 90 % des cas.

L’autre élément est le suivi des métadonnées tout au long du cycle de vie du modèle. L’extension de l’apprentissage automatique nécessite une extension de la confiance dans les modèles eux-mêmes. Les MLOps à grande échelle nécessitent une qualité, une sécurité et un contrôle intégrés pour éviter les problèmes et les biais en production.

Les équipes peuvent se perdre dans la théorie et les opinions autour de la gouvernance. La meilleure solution consiste à commencer par des accès clairs et des contrôles autour de l’accès utilisateur.

À partir de là, la capture de métadonnées et l’automatisation sont essentielles. Le tableau ci-dessous décrit les zones à collecter des métadonnées. Dans la mesure du possible, tirez parti des pipelines ou d’autres systèmes d’automatisation pour capturer automatiquement ces informations afin d’éviter le traitement manuel et les incohérences.

Métadonnées à collecter

Voici les éléments à collecter pour chaque modèle :

  • Version/Artéfact de modèle entraîné : Identificateur unique de l’artéfact de modèle entraîné.
  • Données d’entraînement – Données utilisées pour créer l’artéfact de modèle entraîné
  • Code d’entraînement – Hachage Git ou lien vers le code source pour l’inférence.
  • Dépendances – Bibliothèques utilisées dans la formation.
  • Code de prédiction – Hachage Git ou lien vers le code source pour l’inférence.
  • Prédictions historiques – Stocker les inférences à des fins d’audit.

Idées pour votre équipe :

  1. Quels sont les problèmes que nous avons rencontrés dans tous les projets ?
  2. Quels sont les problèmes que nos parties prenantes commerciales éprouvent ou craignent ?
  3. Comment gérons-nous les demandes d’accès aux données ?
  4. Qui les approuve ?
  5. Y a-t-il des opportunités d’automatisation ?
  6. Quelles vulnérabilités nos pipelines ou déploiements de modèles créent-ils ?
  7. Quelles pièces de métadonnées devons-nous collecter ?
  8. Comment est-il stocké et rendu disponible ?

Évangéliser MLOps

De nombreuses équipes techniques tombent dans le piège de penser : “Si nous le construisons, ils viendront”. Résoudre le problème implique également partager et promouvoir la solution pour augmenter l’impact organisationnel. Les équipes MLOps doivent partager les meilleures pratiques et les moyens de résoudre les problèmes uniques des outils, des données, des modèles et des parties prenantes de votre organisation.

N’importe qui dans l’équipe MLOps peut être un évangéliste en s’associant aux parties prenantes de l’entreprise pour présenter leurs histoires de réussite. Présenter des exemples de votre organisation peut illustrer clairement les avantages et les opportunités.

Les personnes de toute l’organisation cherchant à industrialiser l’IA ont besoin d’éducation, de documentation et d’autres formes de soutien. Les déjeuners et les séances d’apprentissage, l’intégration et les programmes de mentorat sont d’excellents points de départ. À mesure que votre organisation se développe, des programmes d’apprentissage et d’intégration plus formalisés avec une documentation de soutien peuvent accélérer la transformation de votre organisation.

Idées pour votre équipe :

  1. Comment pouvez-vous créer une communauté ou des apprentissages et des meilleures pratiques récurrents pour MLOps ?
  2. Quels sont les nouveaux rôles et capacités que nous devons établir et partager ?
  3. Quels problèmes avons-nous résolus qui peuvent être partagés ?
  4. Comment fournissez-vous une formation ou une documentation pour partager les meilleures pratiques et les histoires de réussite avec d’autres équipes ?
  5. Comment pouvons-nous créer des programmes d’apprentissage ou des listes de contrôle pour les scientifiques des données, les ingénieurs des données et les parties prenantes de l’entreprise pour apprendre à travailler avec des modèles d’IA ?

Pour commencer

Les équipes et les dirigeants de MLOps sont confrontés à une montagne d’opportunités tout en équilibrant les besoins pressants de l’industrialisation des modèles. Chaque organisation est confrontée à des défis différents, compte tenu de ses données, modèles et technologies. Si MLOps était facile, nous n’aimerions probablement pas travailler sur le problème.

Le défi est toujours la priorisation.

Nous espérons que ce guide a aidé à générer de nouvelles idées et des domaines à explorer pour votre équipe. La première étape consiste à générer une grande liste d’opportunités pour votre équipe en 2023. Ensuite, priorisez-les impitoyablement en fonction de ce qui aura le plus grand impact sur vos clients. Les équipes peuvent également définir et mesurer leur progression en matière de maturité par rapport aux référentiels émergents. Ce guide de Google peut fournir un cadre et des jalons de maturité pour votre équipe.

Idées pour votre équipe :

  1. Quelles sont les plus grandes opportunités pour faire progresser notre maturité ou sophistication avec MLOps ?
  2. Comment capturons-nous et suivons-nous notre progression sur les projets qui font progresser la maturité ?
  3. Générer une liste de tâches pour ce guide et votre équipe. Prioriser en fonction du temps nécessaire à la mise en œuvre et des avantages attendus. Créer une feuille de route.

Références

  • https://www2.deloitte.com/content/dam/insights/articles/7022_TT-MLOps-industrialized-AI/DI_2021-TT-MLOps-industrialized-AI.pdf
  • https://proceedings.neurips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf
  • https://developers.google.com/machine-learning/guides/rules-of-ml
  • https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Mike Caravetta a livré des centaines de millions de dollars de valeur commerciale en utilisant l’analytique. Il dirige actuellement la charge pour faire évoluer MLOps dans la fabrication et la réduction de la complexité chez Ford. Brendan Kelly, co-fondateur d’AlignAI, a aidé des dizaines d’organisations à accélérer MLOps dans les secteurs bancaire, des services financiers, de la fabrication et de l’assurance.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Science des données

LangChain Amélioration des performances avec une capacité de mémoire accrue.

J'ai déjà publié des articles sur LangChain auparavant, présentant la bibliothèque et toutes ses capacités. Maintenan...

AI

D'Oppenheimer à l'IA générative des enseignements précieux pour les entreprises d'aujourd'hui

J'ai passé 3 heures le week-end dernier au cinéma à regarder le dernier blockbuster - Oppenheimer. Même si je connais...

Science des données

Dévoiler les effets nuisibles de l'IA sur la communauté Trans

Comment l'IA échoue aux personnes transgenres. Les dangers des logiciels de reconnaissance de genre, des modèles médi...

AI

Les chercheurs de Stanford proposent MAPTree une approche bayésienne de l'induction des arbres de décision avec une robustesse et des performances améliorées.

Les arbres de décision sont un algorithme populaire d’apprentissage automatique pouvant être utilisé pour des t...

Actualités sur l'IA

L'intelligence artificielle pourrait un jour réaliser des miracles médicaux. Pour l'instant, elle aide à faire les tâches administratives.

Les médecins affirment que le meilleur usage de l'IA générative dans les soins de santé est de faciliter le lourd far...

AI

Cohere AI dévoile le modèle Embed v3 de Cohere offrant des performances de pointe conformes aux références Trusted MTEB et BEIR.

Dans les modèles d’encodage du texte, le défi a été de trouver les informations les plus pertinentes au milieu ...