Erreur d’étalonnage attendue (ECE) – une explication visuelle étape par étape

ECE - Explication visuelle étape par étape de l'erreur d'étalonnage attendue

Avec un exemple simple et du code Python

Dans les tâches de classification, les modèles d’apprentissage automatique fournissent des probabilités estimées ou également appelées confiances (voir l’image ci-dessus). Celles-ci nous indiquent à quel point un modèle est certain de ses prédictions d’étiquettes. Cependant, pour la plupart des modèles, ces confiances ne sont pas alignées avec les fréquences réelles des événements qu’ils prédisent. Elles doivent être calibrées !

La calibration du modèle vise à aligner les prédictions d’un modèle avec les probabilités réelles, afin de s’assurer que les prédictions d’un modèle sont fiables et précises (voir cet article de blog pour plus de détails sur l’importance de la calibration du modèle).

Bien, la calibration du modèle est importante, mais comment la mesurer ? Il existe quelques options, mais l’objectif et le focus de cet article est d’expliquer et de passer en revue une seule méthode simple mais relativement suffisante pour évaluer la calibration du modèle : l’Erreur de Calibration Attendue (ECE). Elle calcule l’erreur moyenne pondérée des “probabilités” estimées, ce qui nous donne une valeur unique que nous pouvons utiliser pour comparer différents modèles.

Nous allons passer en revue la formule de l’ECE telle que décrite dans l’article : On Calibration of Modern Neural Networks. Pour simplifier, nous examinerons un petit exemple avec 9 points de données et des cibles binaires. Nous coderons également cet exemple simple en Python, et enfin, nous verrons comment ajouter quelques lignes de code pour le rendre également applicable à la classification multi-classes.

• Suivi des données non structurées pour LLM et NLP
• Entités nommées et les actualités
• Aliasing Votre série temporelle vous ment

Définition

L’ECE mesure à quel point les “probabilités” estimées d’un modèle correspondent aux probabilités réelles (observées) en prenant une moyenne pondérée de la différence absolue entre l’exactitude (acc) et la confiance (conf) :

La mesure implique de diviser les données en M intervalles également espacés. B est utilisé pour représenter les “intervalles” et m pour le numéro de l’intervalle. Nous reviendrons plus en détail sur les parties individuelles de cette formule, telles que B, |Bₘ|, acc(Bₘ) et conf(Bₘ) plus tard. Commençons d’abord par notre exemple, qui aidera à comprendre la formule étape par étape.

Exemple

Nous avons 9 échantillons avec des probabilités estimées ou également appelées “confiances” (pᵢ) pour prédire l’étiquette positive 1. Si…

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!