Les chercheurs de Cambridge développent l’incertitude dans les systèmes d’apprentissage automatique

Cambridge researchers develop uncertainty in machine learning systems.

Dans un monde d’incertitudes humaines, embrasser l’incertitude pourrait aider les machines et les humains à travailler ensemble de manière plus efficace et fiable. Alors que les systèmes actuels sont programmés pour supposer que les interventions humaines sont toujours précises et confiantes, cette recherche prend en compte l’incertitude dans de telles interactions. Une équipe de chercheurs de l’Université de Cambridge a créé “UElic”, une plateforme pour collecter des données d’incertitude humaine réelle et démontrer sa valeur dans l’amélioration de la capacité des modèles à gérer l’incertitude. Il met l’accent sur l’importance de permettre aux humains d’exprimer l’incertitude pour améliorer la fiabilité des modèles d’apprentissage automatique.

Les chercheurs introduisent des modèles basés sur des concepts qui visent à améliorer l’interprétabilité et à permettre les interventions humaines pour corriger les erreurs. Il s’agit d’un apprentissage supervisé avec des entrées (x), des concepts (c) et des sorties (y), où les concepts peuvent être binaires ou catégoriques et peuvent englober l’incertitude. Ils ont utilisé un ensemble de données de classification d’images afin que les humains puissent fournir leurs commentaires et indiquer l’incertitude lors de l’étiquetage d’une image particulière. Ces modèles prédisent les concepts en utilisant des réseaux neuronaux, en se concentrant sur les modèles d’encodage de concepts (CEM) avec une extension des modèles d’encodage de concepts (CBM).

Les questions de recherche ont exploré comment les modèles basés sur des concepts gèrent l’incertitude humaine au moment du test et comment ils peuvent mieux prendre en charge l’incertitude humaine et le niveau d’incertitude. Les chercheurs ont utilisé certains des ensembles de données d’apprentissage automatique de référence avec une incertitude variable : Chexpert pour la classification des radiographies thoraciques et UMNIST, qui est formé par des chiffres MNIST et utilisé pour la classification des chiffres. Pour cela, les chercheurs ont simulé l’incertitude lorsqu’ils ont utilisé l’ensemble de données sur les oiseaux, où les participants humains devaient indiquer la certitude en classifiant l’oiseau comme étant rouge ou orange.

• Meilleurs outils d’IA pour les YouTubers en 2023
• Supercharger votre machine virtuelle Linux pour la science des données un guide pour augmenter la RAM de la machine virtuelle Linux pour une meilleure performance
• Bases de données de vecteurs Python et index de vecteurs Architecture des applications LLM

L’étude englobe des simulations contrôlées et une incertitude humaine réelle, en étudiant les expressions d’incertitude à grain grossier et à grain fin. Les choix de conception dans la gestion réussie des scores d’incertitude discrets influencent les performances, les considérations de mappage, l’incertitude large par rapport à l’incertitude étroite, et l’incertitude au niveau de l’instance par rapport à l’incertitude au niveau de la population. Les chercheurs soulignent l’importance d’incorporer l’incertitude humaine dans les modèles basés sur des concepts et la nécessité d’ensembles de données complets comme CUB-S pour étudier ces défis. Certaines des défis ouverts identifiés par les auteurs de cette recherche sont : (1) la complémentarité de l’incertitude humaine et de l’incertitude machine, (2) le traitement de la (mé)calibration humaine, et (3) l’élicitation d’incertitude à grande échelle. Les chercheurs expliquent les limites des modèles basés sur des concepts populaires et présentent l’interface UElic et l’ensemble de données CUB-S pour faciliter de nouvelles recherches sur les interventions relatives à l’incertitude humaine.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!