Talmo Pereira sur la puissance de l’outil d’IA SLEAP pour les études biologiques et neurologiques

Talmo Pereira on the power of the SLEAP AI tool for biological and neurological studies

Nous remercions Talmo Pereira, chercheur associé à l’Institut Salk, d’avoir participé à cette interview et d’avoir partagé son histoire et plusieurs idées sur le développement de méthodes basées sur l’IA pour l’étude de systèmes biologiques complexes. Ses travaux récents se concentrent sur la quantification des comportements grâce à la capture de mouvements sans marqueurs à l’aide de l’outil SLEAP. Il trouve des applications en neuroscience, en recherche sur le cancer et en biologie végétale. SLEAP suit les mouvements des animaux, des plantes et des humains, aidant ainsi à la prédiction des maladies et à l’atténuation du changement climatique. Pereira envisage d’utiliser l’IA pour diagnostiquer précocement les maladies en analysant les modèles comportementaux dans les vidéos.

Contexte de recherche, contributions à la phénotypage quantitatif et défis de compréhension du comportement

Où avez-vous travaillé avant de rejoindre l’Institut Salk ?

Avant de rejoindre Salk, j’ai effectué mon doctorat en neurosciences à l’Université de Princeton avec Mala Murthy et Josh Shaevitz, et j’ai travaillé chez Google AI en tant que doctorant chercheur. Mon objectif était de développer des méthodes de vision par ordinateur pour capturer le mouvement et quantifier le comportement à partir de vidéos.

Comment vos travaux récents ont-ils contribué au domaine du phénotypage quantitatif des comportements complexes ?

Mes travaux récents se sont concentrés sur le problème de la capture de mouvement sans marqueurs, également connue sous le nom de suivi de pose. Tout comme les combinaisons de capture de mouvement sont utilisées à Hollywood pour suivre les mouvements des parties du corps des acteurs afin de créer des séquences d’images de synthèse, l’idée avec la capture de mouvement sans marqueurs est de faire la même chose, mais sans la combinaison !

• Comment changer de carrière d’ingénieur mécanique à scientifique des données?
• Tous vos messages en ligne appartiennent maintenant à l’IA, déclare Google
• Apprenez l’IA générative avec Google

C’est une tâche complexe à réaliser pour les ordinateurs, mais elle est devenue beaucoup plus accessible grâce à l’avènement des réseaux neuronaux profonds, la base de l’IA moderne. L’une des raisons pour lesquelles ces réseaux fonctionnent si bien est qu’ils peuvent apprendre à partir de quantités massives de données, dans ce cas des millions d’images de personnes dans différents contextes qui ont été annotées manuellement par des travailleurs de la foule qui ont cliqué sur la position “vraie” de chaque partie du corps.

Une fois que nous avons un réseau neuronal formé pour suivre les parties du corps dans des séquences vidéo, nous pouvons utiliser les modèles de leurs mouvements pour déduire des phénotypes quantitatifs de comportements complexes, par exemple pour détecter quand un individu court plutôt que de se gratter la tête, et une description statistique précise de la façon dont il déplace ses parties du corps pour le faire.

Quel est le principal défi de la compréhension du comportement animal et humain en neurosciences ?

Il y a de nombreux défis pour comprendre le comportement, mais l’un des principaux que ces approches d’IA résolvent est la mesure quantitative. En capturant les mouvements sous-jacents au comportement, nous pouvons trouver des moyens de détecter automatiquement les occurrences de comportements connus tels que le toilettage ou le saut. Nous pouvons ensuite corréler le timing ou la fréquence des comportements connus avec des variables expérimentales, comme le fait que l’individu ait une maladie ou non, afin d’établir un lien entre la biologie et le comportement observable. Chez les animaux, cela est plus facile à vérifier car nous pouvons contrôler les conditions environnementales dans lesquelles se trouve l’animal, les enregistrer plus longtemps et réaliser d’autres expériences pour mesurer les états internes de son cerveau et de son corps afin de valider leurs associations avec les modèles de comportement.

Un problème plus difficile est de définir ce qu’est le comportement en premier lieu. Par exemple, où tracer la ligne entre une “marche rapide” et un “jogging lent” si les deux permettent de se déplacer à la même vitesse ? (Si cela vous intéresse, Calhoun et al. explorent des exemples encore plus difficiles, tels que “Une personne transpire en réponse à de l’air chaud. Est-ce un comportement ?”) Des méthodes telles que Keypoint-MoSeq (Weinreb et al, 2023) ont émergé, permettant d’utiliser le suivi de pose pour définir des comportements basés uniquement sur des modèles statistiques dans les données. Elles promettent d’être plus objectives, mais elles ne sont toujours pas capables d’incorporer des connaissances sur des distinctions claires et connues concernant ce qui est un comportement.

En tout cas, en ayant le suivi de pose comme représentation initiale et non ambiguë des mouvements sous-jacents aux comportements, nous partons d’une bien meilleure base que si nous devions identifier des “comportements” à partir des seules données pixel, car cela nous donne des informations directes sur la façon dont les parties du corps se déplacent, ce qui est finalement la manière dont le cerveau produit (de nombreuses formes de) comportement.

SLEAP : exploiter l’intelligence artificielle pour une technologie innovante de suivi des mouvements

Comment SLEAP utilise-t-il l’intelligence artificielle ?

SLEAP est un logiciel de suivi de pose multi-animaux en open source qui utilise des réseaux neuronaux profonds, un algorithme essentiel dans l’IA moderne, pour apprendre à suivre automatiquement les poses dans les images. Il le fait en apprenant à partir des exemples fournis par l’utilisateur sur l’emplacement de chaque partie du corps dans un ensemble d’images d’entraînement.

Une des innovations clés de SLEAP est sa capacité à entraîner ces modèles de réseaux neuronaux avec des ensembles d’entraînement très petits, de l’ordre de dizaines à des centaines d’images, démontrant qu’il est possible d’utiliser cette forme d’IA sans nécessiter les ressources d’un laboratoire industriel pour générer l’ensemble d’entraînement. Cela rend possible l’utilisation pratique de la capture de mouvement sans marqueur sur une diversité d’ensembles de données que nous rencontrons dans les études sur le comportement animal.

Quelle est la principale innovation de l’outil SLEAP ?

SLEAP est un framework plutôt qu’un modèle ou une méthode unique. Cela est motivé par l’observation qu’il existe de nombreux ensembles de données complexes avec des propriétés uniques. Au lieu de chercher un algorithme qui fonctionne pour tout, SLEAP implémente une variété d’algorithmes, chacun ayant ses compromis et sa pertinence pour chaque cas d’utilisation. Par exemple, si vous avez plusieurs sujets visibles dans le cadre, vous pouvez avoir besoin d’un algorithme qui peut raisonner sur la manière dont les parties du corps détectées doivent être associées entre elles pour former des poses distinctes, tandis que pour des données avec des sujets uniques, il suffit de détecter l’emplacement de chaque partie du corps et vous saurez à qui elles appartiennent.

Nous avons beaucoup travaillé pour rendre SLEAP convivial et accessible, en le rendant facile à configurer et à utiliser même sans compétences techniques. En conséquence, toutes sortes de personnes utilisent SLEAP, des lycéens qui l’utilisent pour leurs projets de recherche et de sciences, aux chercheurs professionnels en biologie sans expérience en IA.

Pour rendre cela possible, nous combinons des pratiques d’ingénierie logicielle de haut niveau avec des outils d’open source et de calcul scientifique de qualité industrielle tels que TensorFlow, attrs et PySide2.

Pouvez-vous fournir des exemples de l’utilisation de l’outil SLEAP dans les études sur le comportement animal ?

SLEAP a été utilisé dans de nombreuses études sur les animaux pour extraire des mesures quantitatives des comportements d’intérêt.

• Dans Mills et al. (2023), SLEAP a été utilisé pour caractériser le comportement social des souris afin d’étudier comment les circuits neuronaux déterminent si les stimuli sensoriels doivent être interprétés comme “bons” ou “mauvais”.
• Dans Mabuchi et al. (2023), SLEAP a été utilisé pour quantifier le comportement de cour d’accouplement afin de comprendre comment les mouches des fruits utilisent l’information visuelle pour diriger leurs mouvements dans un contexte social.
• Dans Legan et al. (2022), SLEAP a été utilisé pour étudier comment les guêpes en papier passent à un état plus “vigilant” après des rencontres agressives.
• Dans Leonardis et al. (2022), SLEAP a été utilisé pour mesurer comment les rats interagissent avec un “rat robot” dans une étude sur les bases des interactions sociales.
• Dans Gutierrez-Castellanos et al. (2023), SLEAP a été utilisé pour quantifier les comportements de “rejet” chez les souris femelles dans le contexte d’une étude sur les circuits neuronaux influencés par les hormones du cycle reproductif.

Il ne s’agit que de quelques exemples récents pour mettre en évidence la diversité des domaines d’application, des questions scientifiques et des espèces avec lesquelles SLEAP a été utilisé.

Comment l’outil SLEAP contribue-t-il à la prédiction des maladies et aux efforts de lutte contre le changement climatique ?

Depuis que nous avons rejoint Salk, l’une des zones sur lesquelles notre laboratoire s’est concentré est la manière de traduire les données de capture de mouvement en connaissances sur la biologie.

Pour la prédiction des maladies, nous travaillons avec plusieurs collaborateurs pour développer des pipelines d’analyse qui peuvent être utilisés pour extraire automatiquement des phénotypes pouvant être prédictifs de l’apparition et de la progression des maladies. Par exemple, dans une étude pilote qui mesurait les changements de comportement associés à la sclérose latérale amyotrophique (SLA), une maladie neurodégénérative qui entraîne une perte de coordination motrice et éventuellement la mort, nous constatons que nous pouvons détecter des marqueurs quantitatifs clairs de la maladie chez des souris non entraînées vivant dans leur environnement de cage habituel de manière entièrement automatisée. Nous travaillons maintenant à établir une caractérisation complète de tous les comportements associés aux différentes étapes de cette maladie et d’autres, notamment le cancer du pancréas et la maladie d’Alzheimer.

Un autre domaine d’application sur lequel nous nous sommes concentrés et rendu possible par l’environnement interdisciplinaire unique de Salk est la biologie végétale pour le changement climatique. Salk abrite l’Initiative Harnessing Plants, un effort multi-groupe visant à lutter contre le changement climatique en développant des plantes cultivées ayant des racines plus profondes et plus massives, ce qui entraîne une séquestration accrue du carbone à mesure que le dioxyde de carbone est converti en matière végétale dans le sol. Bien que l’on en sache beaucoup sur la biologie du développement des racines des plantes, il était nécessaire de disposer de méthodes automatisées et fiables pour caractériser quantitativement l’architecture du système racinaire. Nous avons appliqué SLEAP à ces données et travaillons maintenant à développer des outils pour extraire des caractéristiques significatives telles que les angles de ramification et les profondeurs des racines pouvant être utilisés pour caractériser les plantes dotées de capacités accrues de séquestration du carbone.

Perspectives d’avenir…

Comment envisagez-vous l’utilisation future de l’IA dans le diagnostic du cancer et de la SLA chez les humains ?

À mesure que nous développons une meilleure compréhension de la manière dont les changements subtils ou statistiquement définis dans votre langage corporel sont liés à la maladie, nous espérons appliquer le même type d’IA que celui que nous utilisons dans SLEAP pour détecter des maladies telles que le cancer et la SLA chez les humains. Cela nécessitera une validation clinique significative avant de pouvoir être utilisé comme outil de diagnostic fiable, mais étant donné à quel point il est facile et bon marché d’enregistrer des vidéos, nous espérons qu’un jour nous pourrons extraire les signatures comportementales de la maladie à partir de vidéos que vous pouvez enregistrer sur votre smartphone. Si cela est fait correctement, cela pourrait réduire considérablement la charge sur notre système de soins de santé et permettre un dépistage et une prévention beaucoup plus précoces des maladies qui sont plus faciles à traiter aux stades précoces.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!