Complaisance de l’automatisation Comment remettre les humains dans la boucle

Restoring humans in the loop Automation complacency

Dans un tournant dramatique des événements, des Robotaxis, des véhicules autonomes qui prennent des passagers sans opérateur humain, ont récemment été déployés à San Francisco. Après une audience publique houleuse de 7 heures, la décision a été confirmée par la commission des services publics de Californie. Malgré les protestations, il y a un sentiment d’inéluctabilité dans l’air. La Californie assouplit progressivement les restrictions depuis le début de l’année 2022. Les nouvelles règles permettent aux deux entreprises titulaires de permis – Waymo d’Alphabet et Cruise de GM – d’envoyer ces taxis n’importe où dans la ville de 7 miles carrés, à l’exception des autoroutes, et de facturer des frais aux passagers.

L’idée de taxis autonomes suscite deux émotions contradictoires : l’excitation (“des taxis à un coût beaucoup plus bas !”) et la peur (“vont-ils me heurter, moi ou mes enfants ?”). Ainsi, les régulateurs exigent souvent que les voitures soient testées avec des passagers capables d’intervenir et de gérer les commandes avant qu’un accident ne se produise. Malheureusement, avoir des humains en alerte, prêts à remplacer les systèmes en temps réel, n’est peut-être pas la meilleure façon d’assurer la sécurité.

En fait, sur les 18 décès aux États-Unis liés à des accidents de voitures autonomes (à partir de février de cette année), tous avaient une forme de contrôle humain, que ce soit dans la voiture ou à distance. Cela inclut l’un des plus célèbres, qui s’est produit tard dans la nuit sur une large route suburbaine à Tempe, en Arizona, en 2018. Un véhicule de test Uber automatisé a tué une femme de 49 ans nommée Elaine Herzberg, qui courait avec son vélo pour traverser la route. L’opérateur humain sur le siège passager regardait en bas, et la voiture ne les a avertis que moins d’une seconde avant l’impact. Ils ont pris le volant trop tard. L’accident a conduit Uber à suspendre ses tests de voitures autonomes. Finalement, il a vendu la division des véhicules automatisés, qui avait été une part importante de sa stratégie commerciale.

L’opérateur a fini en prison à cause de la complaisance de l’automatisation, un phénomène découvert pour la première fois dans les premiers jours de la formation des pilotes de vol. La confiance excessive est une dynamique fréquente avec les systèmes d’IA. Plus le système est autonome, plus les opérateurs humains ont tendance à lui faire confiance et à ne pas lui accorder toute leur attention. Nous nous ennuyons à surveiller ces technologies. Lorsqu’un accident est sur le point de se produire, nous ne nous y attendons pas et nous ne réagissons pas à temps.

• Tanguy Chau, Co-Fondateur et PDG de Paxton AI – Série d’interviews
• L’ingénierie de prompt n’est pas une chose.
• Implémenter la descente de gradient avec un modèle de régression linéaire

Les humains sont doués pour ce que l’expert en risques, Ron Dembo, appelle la “pensée du risque” – une manière de penser que même l’apprentissage automatique le plus sophistiqué ne peut pas encore émuler. Il s’agit de la capacité à reconnaître, lorsque la réponse n’est pas évidente, que nous devrions ralentir ou nous arrêter. La pensée du risque est essentielle pour les systèmes automatisés, et cela crée un dilemme. Les humains veulent être impliqués, mais nous mettre aux commandes alors que nous nous fions si complaisamment aux systèmes automatisés pourrait en fait aggraver les choses.

Comment, alors, les développeurs de systèmes automatisés peuvent-ils résoudre ce dilemme, de manière à ce que des expériences comme celle qui se déroule à San Francisco se terminent positivement ? La réponse réside dans une diligence supplémentaire non seulement avant le moment de l’impact, mais également au stade précoce de la conception et du développement. Tous les systèmes d’IA comportent des risques lorsqu’ils ne sont pas contrôlés. Les voitures autonomes ne seront pas exemptes de risques, même si elles s’avèrent être, en moyenne, plus sûres que les voitures conduites par des humains.

L’accident d’Uber montre ce qui se passe lorsque nous ne pensons pas au risque avec intentionnalité. Pour cela, nous avons besoin de friction créative : faire intervenir plusieurs perspectives humaines bien avant la mise en service de ces systèmes. En d’autres termes, réfléchir aux implications des systèmes d’IA plutôt qu’aux seules applications nécessite la perspective des communautés directement concernées par la technologie.

Waymo et Cruise ont tous deux défendu les bilans de sécurité de leurs véhicules, au motif de la probabilité statistique. Néanmoins, cette décision fait de San Francisco une expérience grandeur nature. Lorsque les résultats seront comptabilisés, il sera extrêmement important de recueillir les bonnes données, de partager les succès et les échecs, et de laisser les communautés concernées s’exprimer aux côtés des spécialistes, des politiciens et des chefs d’entreprise. En d’autres termes, garder tous les humains impliqués. Sinon, nous risquons la complaisance de l’automatisation – la volonté de déléguer la prise de décision aux systèmes d’IA – à une très grande échelle.

Juliette Powell et Art Kleiner sont co-auteurs du nouveau livre The AI Dilemma: 7 Principles for Responsible Technology.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!