Un système robotique à quatre pattes pour jouer au football sur différents terrains

A four-legged robotic system for playing football on different terrains.

DribbleBot peut manœuvrer un ballon de soccer sur des terrains tels que le sable, le gravier, la boue et la neige, en utilisant l’apprentissage par renforcement pour s’adapter aux dynamiques variables du ballon.

Si vous avez déjà joué au soccer avec un robot, c’est une sensation familière. Le soleil brille sur votre visage alors que l’odeur de l’herbe imprègne l’air. Vous regardez autour de vous. Un robot à quatre pattes se précipite vers vous, dribblant avec détermination. Bien que le bot ne montre pas un niveau de compétence semblable à celui de Lionel Messi, c’est néanmoins un système de dribble impressionnant en pleine nature. Les chercheurs du laboratoire d’intelligence artificielle improbable du MIT, faisant partie du laboratoire d’informatique et d’intelligence artificielle (CSAIL), ont développé un système robotique quadrupède capable de dribbler un ballon de soccer dans les mêmes conditions que les humains. Le bot utilisait un mélange de capteurs et de calcul embarqués pour parcourir différents terrains naturels tels que le sable, le gravier, la boue et la neige, et s’adapter à leur impact varié sur le mouvement du ballon. Comme tout athlète déterminé, “DribbleBot” pouvait se relever et récupérer le ballon après une chute.

La programmation de robots pour jouer au soccer est un domaine de recherche actif depuis un certain temps. Cependant, l’équipe voulait apprendre automatiquement comment actionner les jambes pendant le dribble, afin de permettre la découverte de compétences difficiles à scripter pour répondre à des terrains divers tels que la neige, le gravier, le sable, l’herbe et le pavé. Entrez, la simulation.

• Les chercheurs du MIT CSAIL discutent des frontières de l’IA générative.
• Le système d’IA peut générer de nouvelles protéines répondant aux objectifs de conception structurelle.
• Système de deep-learning explore l’intérieur des matériaux depuis l’extérieur

Un robot, un ballon et un terrain sont à l’intérieur de la simulation – un jumeau numérique du monde naturel. Vous pouvez charger le bot et d’autres actifs et définir les paramètres de la physique, puis il gère la simulation en avant des dynamiques à partir de là. Quatre mille versions du robot sont simulées en parallèle en temps réel, permettant une collecte de données 4 000 fois plus rapide que l’utilisation d’un seul robot. C’est beaucoup de données.

Le robot commence sans savoir comment dribbler le ballon – il ne reçoit qu’une récompense quand il le fait, ou une rétroaction négative quand il se trompe. Ainsi, il essaie essentiellement de comprendre quelle séquence de forces il doit appliquer avec ses jambes. “Un aspect de cette approche d’apprentissage par renforcement est que nous devons concevoir une bonne récompense pour faciliter l’apprentissage d’un comportement de dribble réussi par le robot”, explique Gabe Margolis, doctorant du MIT, qui a co-dirigé le travail avec Yandong Ji, assistant de recherche au laboratoire d’intelligence artificielle improbable. “Une fois que nous avons conçu cette récompense, c’est l’heure de l’entraînement pour le robot : en temps réel, cela prend quelques jours, et dans le simulateur, des centaines de jours. Au fil du temps, il apprend à mieux manipuler le ballon de soccer pour correspondre à la vitesse souhaitée.”

Le bot pouvait également naviguer sur des terrains inconnus et récupérer après des chutes grâce à un contrôleur de récupération intégré par l’équipe dans son système. Ce contrôleur permet au robot de se relever après une chute et de revenir à son contrôleur de dribble pour continuer à poursuivre le ballon, l’aidant à gérer les perturbations et les terrains hors distribution.

“Si vous regardez autour de vous aujourd’hui, la plupart des robots ont des roues. Mais imaginez qu’il y ait une situation de catastrophe, des inondations ou un tremblement de terre, et que nous voulions que les robots aident les humains dans le processus de recherche et de sauvetage. Nous avons besoin que les machines traversent des terrains qui ne sont pas plats, et les robots à roues ne peuvent pas parcourir ces paysages”, explique Pulkit Agrawal, professeur au MIT, investigateur principal du CSAIL et directeur du laboratoire d’intelligence artificielle improbable. “Tout l’intérêt d’étudier les robots quadrupèdes et le soccer est de parcourir des terrains en dehors de la portée des systèmes robotiques actuels”, ajoute-t-il. “Notre objectif dans le développement d’algorithmes pour les robots quadrupèdes est de fournir une autonomie dans des terrains difficiles et complexes qui sont actuellement hors de portée des systèmes robotiques.”

La fascination pour les quadrupèdes robotiques et le soccer est profonde – le professeur canadien Alan Mackworth a d’abord noté l’idée dans un article intitulé “On Seeing Robots”, présenté à VI-92, 1992. Des chercheurs japonais ont ensuite organisé un atelier sur les “Grands défis de l’intelligence artificielle”, qui a conduit à des discussions sur l’utilisation du soccer pour promouvoir la science et la technologie. Le projet a été lancé sous le nom de Robot J-League un an plus tard, et une fièvre mondiale s’est rapidement emparée. Peu de temps après, “RoboCup” est né.

Comparé à la marche seule, dribbler un ballon de soccer impose plus de contraintes sur le mouvement de DribbleBot et sur les terrains qu’il peut parcourir. Le robot doit adapter sa locomotion pour appliquer des forces au ballon pour dribbler. L’interaction entre le ballon et le paysage peut être différente de l’interaction entre le robot et le paysage, comme l’herbe épaisse ou le pavé. Par exemple, un ballon de soccer subira une force de traînée sur l’herbe qui n’est pas présente sur le pavé, et une inclinaison appliquera une force d’accélération, changeant le chemin typique du ballon. Cependant, la capacité du bot à traverser différents terrains est souvent moins affectée par ces différences de dynamique – tant qu’il ne glisse pas – de sorte que le test de soccer peut être sensible aux variations de terrain que la locomotion seule ne l’est pas.

« Les approches passées simplifient le problème de dribble en faisant l’hypothèse d’un sol plat et dur pour la modélisation. Le mouvement est également conçu pour être plus statique ; le robot n’essaie pas de courir et de manipuler le ballon simultanément », explique Ji. « C’est là que des dynamiques plus difficiles entrent dans le problème de contrôle. Nous avons abordé cela en étendant les progrès récents qui ont permis une meilleure locomotion extérieure dans cette tâche combinée qui associe des aspects de locomotion et de manipulation habile ensemble. »

Côté matériel, le robot dispose d’un ensemble de capteurs qui lui permettent de percevoir l’environnement, ce qui lui permet de sentir où il se trouve, de “comprendre” sa position et de “voir” une partie de son environnement. Il dispose d’un ensemble d’actionneurs qui lui permettent d’appliquer des forces et de se déplacer ainsi que des objets. Entre les capteurs et les actionneurs se trouve l’ordinateur, ou “cerveau”, chargé de convertir les données des capteurs en actions, qu’il appliquera par l’intermédiaire des moteurs. Lorsque le robot court sur la neige, il ne voit pas la neige mais peut la sentir grâce à ses capteurs de moteur. Mais le football est une prouesse plus difficile que la marche – l’équipe a donc utilisé des caméras sur la tête et le corps du robot pour une nouvelle modalité sensorielle de vision, en plus de la nouvelle compétence motrice. Et puis – nous dribblons.

« Notre robot peut aller dans la nature parce qu’il transporte tous ses capteurs, caméras et calculs à bord. Cela a nécessité des innovations en termes d’adaptation du contrôleur complet à cette informatique embarquée », explique Margolis. « C’est un domaine où l’apprentissage aide car nous pouvons exécuter un réseau neuronal léger et l’entraîner à traiter les données de capteurs bruyants observées par le robot en mouvement. Cela contraste fortement avec la plupart des robots d’aujourd’hui : typiquement, un bras robotisé est monté sur une base fixe et repose sur un établi avec un ordinateur géant branché directement dessus. Ni l’ordinateur ni les capteurs ne sont dans le bras robotique ! Donc, tout est lourd et difficile à déplacer. »

Il reste encore beaucoup à faire pour rendre ces robots aussi agiles que leurs homologues naturels, et certains terrains ont été difficiles pour DribbleBot. Actuellement, le contrôleur n’est pas formé dans des environnements simulés qui incluent des pentes ou des escaliers. Le robot ne perçoit pas la géométrie du terrain ; il estime uniquement ses propriétés de contact matérielles, comme la friction. S’il y a une marche, par exemple, le robot restera coincé – il ne pourra pas soulever le ballon au-dessus de la marche, un domaine que l’équipe souhaite explorer à l’avenir. Les chercheurs sont également impatients d’appliquer les leçons apprises lors du développement de DribbleBot à d’autres tâches qui impliquent une locomotion combinée et une manipulation d’objet, transportant rapidement des objets divers d’un endroit à l’autre en utilisant les jambes ou les bras.

« DribbleBot est une démonstration impressionnante de la faisabilité d’un tel système dans un espace de problèmes complexe qui nécessite un contrôle dynamique de tout le corps », déclare Vikash Kumar, chercheur en intelligence artificielle chez Facebook AI Research qui n’a pas participé aux travaux. « Ce qui est impressionnant avec DribbleBot, c’est que toutes les compétences sensorimotrices sont synthétisées en temps réel sur un système peu coûteux utilisant des ressources de calcul embarquées. Bien qu’il présente une agilité et une coordination remarquables, ce n’est que le coup d’envoi de la prochaine ère. Game-On ! »

La recherche est soutenue par le programme DARPA Machine Common Sense, le laboratoire MIT-IBM Watson AI, l’Institut de l’intelligence artificielle et des interactions fondamentales de la National Science Foundation, le laboratoire de recherche de l’US Air Force et l’accélérateur d’intelligence artificielle de l’US Air Force. Un article sur les travaux sera présenté à la Conférence internationale sur la robotique et l’automatisation (ICRA) de l’IEEE 2023.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!