Apprentissage de la physique intuitive dans un modèle d’apprentissage profond inspiré de la psychologie du développement

Intuitive physics learning in a deep learning model inspired by developmental psychology.

Comprendre le monde physique est une compétence essentielle que la plupart des gens déploient sans effort. Cependant, cela pose toujours un défi à l’intelligence artificielle ; si nous voulons déployer des systèmes sûrs et utiles dans le monde réel, nous voulons que ces modèles partagent notre sens intuitif de la physique. Mais avant de pouvoir construire ces modèles, il y a un autre défi : comment mesurer la capacité de ces modèles à comprendre le monde physique ? Autrement dit, que signifie comprendre le monde physique et comment pouvons-nous le quantifier ?

Heureusement pour nous, les psychologues du développement ont passé des décennies à étudier ce que les nourrissons savent sur le monde physique. En cours de route, ils ont transformé la notion vague de connaissance physique en un ensemble concret de concepts physiques. Et ils ont développé le paradigme de la violation des attentes (VoE) pour tester ces concepts chez les nourrissons.

Dans notre article publié aujourd’hui dans Nature Human Behavior, nous avons étendu leur travail et mis à disposition le jeu de données Physical Concepts. Ce jeu de données vidéo synthétique transpose le paradigme VoE pour évaluer cinq concepts physiques : la solidité, la persistance des objets, la continuité, l’« invariabilité » et l’inertie directionnelle.

Avec une référence pour la connaissance physique en main, nous nous sommes tournés vers la tâche de construire un modèle capable d’apprendre sur le monde physique. Encore une fois, nous nous sommes tournés vers les psychologues du développement pour trouver l’inspiration. Les chercheurs ont non seulement répertorié ce que les nourrissons savent sur le monde physique, mais ils ont également émis des hypothèses sur les mécanismes qui pourraient permettre ce comportement. Malgré les variations, ces explications accordent une place centrale à la notion de division du monde physique en un ensemble d’objets qui évoluent dans le temps.

• Travailler en collaboration avec YouTube
• Les dernières recherches de DeepMind à ICML 2022
• Perceiver AR génération autoregressive à long contexte polyvalente

En nous inspirant de ce travail, nous avons construit un système que nous avons surnommé PLATO (Physics Learning through Auto-encoding and Tracking Objects). PLATO représente et raisonne sur le monde en tant qu’ensemble d’objets. Il fait des prédictions sur l’endroit où se trouveront les objets dans le futur en fonction de l’endroit où ils ont été dans le passé et des autres objets avec lesquels ils interagissent.

Après avoir formé PLATO sur des vidéos d’interactions physiques simples, nous avons constaté que PLATO réussissait les tests de notre jeu de données Physical Concepts. De plus, nous avons formé des modèles « plats » qui étaient aussi grands (voire plus grands) que PLATO mais n’utilisaient pas de représentations basées sur les objets. Lorsque nous avons testé ces modèles, nous avons constaté qu’ils ne réussissaient pas tous nos tests. Cela suggère que les objets sont utiles pour apprendre la physique intuitive, soutenant ainsi les hypothèses de la littérature sur le développement.

Nous voulions également déterminer combien d’expérience était nécessaire pour développer cette capacité. Des preuves de connaissances physiques ont été montrées chez des nourrissons aussi jeunes que deux mois et demi. Comment PLATO se compare-t-il à cela ? En faisant varier la quantité de données d’entraînement utilisées par PLATO, nous avons constaté que PLATO pouvait apprendre nos concepts physiques avec seulement 28 heures d’expérience visuelle. La nature limitée et synthétique de notre jeu de données signifie que nous ne pouvons pas faire de comparaison directe entre la quantité d’expériences visuelles reçues par les nourrissons et PLATO. Cependant, ce résultat suggère que la physique intuitive peut être apprise avec relativement peu d’expérience si elle est soutenue par un biais inductif pour représenter le monde en tant qu’objets.

Enfin, nous voulions tester la capacité de PLATO à généraliser. Dans le jeu de données Physical Concepts, tous les objets de notre ensemble de test sont également présents dans l’ensemble d’entraînement. Que se passe-t-il si nous testons PLATO avec des objets qu’il n’a jamais vus auparavant ? Pour ce faire, nous avons utilisé un sous-ensemble d’un autre jeu de données synthétiques développé par des chercheurs du MIT. Ce jeu de données teste également la connaissance physique, mais avec des apparences visuelles différentes et un ensemble d’objets que PLATO n’a jamais vus auparavant. PLATO a réussi, sans aucun réapprentissage, malgré le fait d’être testé sur des stimuli entièrement nouveaux.

Nous espérons que ce jeu de données pourra fournir aux chercheurs une compréhension plus spécifique des capacités de leur modèle à comprendre le monde physique. À l’avenir, cela pourrait être étendu pour tester davantage d’aspects de la physique intuitive en augmentant la liste des concepts physiques testés et en utilisant des stimuli visuels plus riches, y compris de nouvelles formes d’objets ou même des vidéos du monde réel.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!