IA probabiliste qui sait à quel point elle fonctionne bien.

Probabilistic AI that knows how well it works.

Il est plus important que jamais pour l’intelligence artificielle d’estimer avec précision comment elle explique les données.

Malgré leur taille et leur puissance énormes, les systèmes d’intelligence artificielle d’aujourd’hui ont régulièrement du mal à distinguer l’hallucination de la réalité. Les systèmes de conduite autonome peuvent ne pas percevoir les piétons et les véhicules d’urgence juste devant eux, avec des conséquences fatales. Les systèmes d’IA conversationnelle inventent confiant des faits et, après entraînement via l’apprentissage par renforcement, ne parviennent souvent pas à donner des estimations précises de leur propre incertitude.

En travaillant ensemble, des chercheurs du MIT et de l’Université de Californie à Berkeley ont développé une nouvelle méthode pour construire des algorithmes d’inférence IA sophistiqués qui génèrent simultanément des collections d’explications probables pour les données et estiment avec précision la qualité de ces explications.

• En utilisant l’IA, des scientifiques ont trouvé un médicament qui pourrait combattre les infections résistantes aux médicaments.
• Nouvel outil aide les gens à choisir la bonne méthode pour évaluer les modèles d’IA.
• Nouveau modèle offre un moyen d’accélérer la découverte de médicaments

La nouvelle méthode est basée sur une approche mathématique appelée Monte Carlo séquentiel (SMC). Les algorithmes SMC sont un ensemble d’algorithmes établis qui ont été largement utilisés pour l’IA calibrée par l’incertitude, en proposant des explications probables des données et en suivant la probabilité ou l’improbabilité des explications proposées chaque fois que de nouvelles informations sont données. Mais SMC est trop simpliste pour les tâches complexes. Le principal problème est qu’une des étapes centrales de l’algorithme – l’étape de proposer des hypothèses pour des explications probables (avant l’autre étape de suivre la probabilité de différentes hypothèses par rapport à l’autre) – doit être très simple. Dans des domaines d’application compliqués, examiner les données et proposer des hypothèses plausibles sur ce qui se passe peut être un problème difficile en soi. Dans la conduite autonome, par exemple, cela nécessite d’examiner les données vidéo des caméras d’une voiture autonome, d’identifier les voitures et les piétons sur la route et de deviner les trajectoires de mouvement probables des piétons actuellement cachés. Faire des suppositions plausibles à partir de données brutes peut nécessiter des algorithmes sophistiqués que SMC régulier ne peut pas prendre en charge.

C’est là que la nouvelle méthode, SMC avec des propositions de programme probabiliste (SMCP3), entre en jeu. SMCP3 permet d’utiliser des moyens plus intelligents pour deviner des explications probables des données, mettre à jour ces explications proposées à la lumière de nouvelles informations et estimer la qualité de ces explications qui ont été proposées de manière sophistiquée. SMCP3 permet cela en permettant d’utiliser n’importe quel programme probabiliste – n’importe quel programme informatique qui peut également faire des choix aléatoires – en tant que stratégie pour proposer (c’est-à-dire deviner de manière intelligente) des explications de données. Les versions précédentes de SMC ne permettaient que l’utilisation de stratégies très simples, si simples qu’on pouvait calculer la probabilité exacte de toute supposition. Cette restriction rendait difficile l’utilisation de procédures de devinette avec plusieurs étapes.

Le document SMCP3 des chercheurs montre qu’en utilisant des procédures de proposition plus sophistiquées, SMCP3 peut améliorer la précision des systèmes d’IA pour suivre les objets 3D et analyser les données, et améliorer également la précision des estimations des algorithmes de la probabilité des données. Des recherches antérieures du MIT et d’autres ont montré que ces estimations peuvent être utilisées pour déduire l’exactitude avec laquelle un algorithme d’inférence explique les données, par rapport à un raisonneur bayésien idéalisé.

George Matheos, co-premier auteur de l’article (et étudiant en doctorat en génie électrique et informatique [EECS] au MIT), déclare qu’il est particulièrement enthousiasmé par le potentiel de SMCP3 à rendre pratique l’utilisation d’algorithmes bien compris et calibrés par l’incertitude dans des paramètres de problèmes compliqués où les anciennes versions de SMC ne fonctionnaient pas.

“Aujourd’hui, nous disposons de nombreux nouveaux algorithmes, dont beaucoup reposent sur des réseaux neuronaux profonds, qui peuvent proposer ce qui pourrait se passer dans le monde, à la lumière des données, dans toutes sortes de domaines de problèmes. Mais souvent, ces algorithmes ne sont pas vraiment calibrés par l’incertitude. Ils ne fournissent qu’une seule idée de ce qui pourrait se passer dans le monde, et il n’est pas clair si c’est la seule explication plausible ou s’il en existe d’autres – ou même si c’est une bonne explication en premier lieu! Mais avec SMCP3, je pense qu’il sera possible d’utiliser beaucoup plus de ces algorithmes intelligents mais difficiles à faire confiance pour construire des algorithmes calibrés par l’incertitude. Alors que nous utilisons des systèmes d’intelligence artificielle pour prendre des décisions dans de plus en plus de domaines de la vie, avoir des systèmes auxquels nous pouvons faire confiance, qui sont conscients de leur incertitude, sera crucial pour la fiabilité et la sécurité.”

Vikash Mansinghka, co-auteur principal de l’article, ajoute: “Les premiers ordinateurs électroniques ont été construits pour exécuter des méthodes de Monte Carlo, et ce sont des techniques parmi les plus largement utilisées en informatique et en intelligence artificielle. Mais depuis le début, les méthodes de Monte Carlo ont été difficiles à concevoir et à mettre en œuvre: les mathématiques devaient être dérivées à la main, et il y avait beaucoup de restrictions mathématiques subtiles dont les utilisateurs devaient être conscients. SMCP3 automatise simultanément les mathématiques difficiles et élargit l’espace des conceptions. Nous l’avons déjà utilisé pour réfléchir à de nouveaux algorithmes d’IA que nous n’aurions pas pu concevoir auparavant.”

D’autres auteurs de l’article comprennent Alex Lew (étudiant en doctorat en EECS au MIT); Nishad Gothoskar, Matin Ghavamizadeh et Tan Zhi-Xuan, étudiants en doctorat en EECS au MIT; et Stuart Russell, professeur à l’UC Berkeley. Le travail a été présenté à la conférence AISTATS à Valence, en Espagne, en avril.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!