Le cercle vertueux de la recherche en IA

'La recherche en IA un cercle vertueux'

Voir les postes ouverts : https://www.deepmind.com/careers/jobs?sort=alphabetical

Nous avons récemment rencontré Petar Veličković, chercheur scientifique chez DeepMind. Avec ses co-auteurs, Petar présente son article Le benchmark de raisonnement algorithmique CLRS lors de ICML 2022 à Baltimore, Maryland, USA.

Mon parcours vers DeepMind…

Tout au long de mes cours de premier cycle à l’Université de Cambridge, l’incapacité à jouer habilement au jeu de Go était considérée comme une preuve évidente des lacunes des systèmes d’apprentissage profond modernes. Je me demandais toujours comment maîtriser de tels jeux pouvait échapper au domaine de la possibilité.

Cependant, au début de l’année 2016, juste au moment où j’ai commencé mon doctorat en apprentissage automatique, tout a changé. DeepMind a affronté l’un des meilleurs joueurs de Go au monde lors d’un match de défi, que j’ai passé plusieurs nuits blanches à regarder. DeepMind a gagné, produisant un gameplay révolutionnaire (par exemple, le “Mouvement 37”) dans le processus.

• AlphaFold révèle la structure de l’univers des protéines
• Découverte de la présence d’un agent dans un système
• Faire progresser la conservation avec la reconnaissance faciale basée sur l’IA des tortues

À partir de ce moment-là, j’ai considéré DeepMind comme une entreprise capable de réaliser des choses apparemment impossibles. J’ai donc concentré mes efforts pour rejoindre un jour cette entreprise. Peu de temps après avoir soumis mon doctorat au début de l’année 2019, j’ai commencé mon parcours en tant que chercheur scientifique chez DeepMind !

Mon rôle…

Mon rôle est un cycle vertueux d’apprentissage, de recherche, de communication et de conseil. J’essaie toujours activement d’apprendre de nouvelles choses (récemment la théorie des catégories, une façon fascinante d’étudier la structure computationnelle), de lire des ouvrages pertinents et de regarder des conférences et des séminaires.

Ensuite, en utilisant ces connaissances, je fais des séances de brainstorming avec mes collègues sur la façon dont nous pouvons élargir ce corpus de connaissances pour avoir un impact positif sur le monde. À partir de ces séances, des idées naissent et nous utilisons une combinaison d’analyse théorique et de programmation pour définir et valider nos hypothèses. Si nos méthodes portent leurs fruits, nous rédigeons généralement un article pour partager nos connaissances avec la communauté.

La recherche d’un résultat n’est pas aussi précieuse sans une communication appropriée et sans donner aux autres les moyens de l’utiliser efficacement. C’est pourquoi je passe beaucoup de temps à présenter notre travail lors de conférences telles que ICML, à donner des conférences et à co-encadrer des étudiants. Cela conduit souvent à la formation de nouvelles connexions et à la découverte de nouveaux résultats scientifiques à explorer, mettant ainsi en marche le cycle vertueux une fois de plus !

À ICML…

Nous faisons une présentation en vedette sur notre article, le benchmark de raisonnement algorithmique CLRS, qui, nous l’espérons, soutiendra et enrichira les efforts dans le domaine émergent du raisonnement algorithmique neuronal. Dans cette recherche, nous confions aux réseaux neuronaux de graphes l’exécution de trente algorithmes divers issus du livre Introduction to Algorithms.

De nombreux efforts de recherche récents cherchent à construire des réseaux neuronaux capables d’exécuter des calculs algorithmiques, principalement pour leur conférer des capacités de raisonnement – que les réseaux neuronaux n’ont généralement pas. Critiquement, chacun de ces articles génère son propre ensemble de données, ce qui rend difficile le suivi des progrès et augmente la barrière d’entrée dans le domaine.

Le benchmark CLRS, avec ses générateurs de données facilement exposés et son code accessible au public, vise à améliorer ces défis. Nous avons déjà constaté un grand enthousiasme de la part de la communauté et nous espérons le canaliser encore plus pendant ICML.

L’avenir du raisonnement algorithmique…

Le principal objectif de notre recherche sur le raisonnement algorithmique est de capturer le calcul des algorithmes classiques à l’intérieur d’exécuteurs neuronaux de haute dimension. Cela nous permettrait ensuite de déployer ces exécuteurs directement sur des représentations de données brutes ou bruitées, et ainsi “appliquer l’algorithme classique” sur des entrées pour lesquelles il n’a jamais été conçu pour être exécuté.

Ce qui est excitant, c’est que cette méthode a le potentiel de permettre l’apprentissage par renforcement efficace des données. L’apprentissage par renforcement regorge d’exemples d’algorithmes classiques puissants, mais la plupart d’entre eux ne peuvent pas être appliqués dans des environnements standard (comme Atari), étant donné qu’ils nécessitent l’accès à une multitude d’informations privilégiées. Notre plan permettrait de rendre possible ce type d’application en capturant le calcul de ces algorithmes à l’intérieur d’exécuteurs neuronaux, après quoi ils peuvent être directement déployés sur les représentations internes d’un agent. Nous avons même un prototype fonctionnel qui a été publié à NeurIPS 2021. J’ai hâte de voir ce qui va se passer ensuite !

J’ai hâte de…

J’ai hâte de participer à l’atelier ICML sur la collaboration et l’équipe homme-machine, un sujet qui me tient à cœur. Fondamentalement, je crois que les meilleures applications de l’IA seront le fruit d’une synergie avec des experts humains du domaine. Cette approche est également très en phase avec notre récent travail sur l’autonomisation de l’intuition des mathématiciens purs grâce à l’IA, qui a été publié en couverture de Nature fin de l’année dernière.

Les organisateurs de l’atelier m’ont invité à participer à une table ronde pour discuter des implications plus larges de ces efforts. Je prendrai la parole aux côtés d’un groupe fascinant de co-panélistes, dont Sir Tim Gowers, que j’admire depuis mes études de premier cycle à Trinity College, Cambridge. Inutile de dire que je suis vraiment enthousiaste à l’idée de cette table ronde !

En regardant vers l’avenir…

Pour moi, les grandes conférences comme l’ICML représentent un moment pour faire une pause et réfléchir à la diversité et à l’inclusion dans notre domaine. Bien que les formats de conférence hybrides et virtuels rendent les événements accessibles à plus de personnes que jamais auparavant, il y a encore beaucoup à faire pour faire de l’IA un domaine diversifié, équitable et inclusif. Les interventions liées à l’IA nous impactent tous, et nous devons nous assurer que les communautés sous-représentées restent une partie importante de la conversation.

C’est précisément pour cette raison que j’enseigne un cours sur l’apprentissage profond géométrique à l’African Master’s in Machine Intelligence (AMMI) – un sujet de mon proto-livre co-écrit récemment. L’AMMI offre une formation de premier ordre en apprentissage automatique aux chercheurs émergents les plus brillants d’Afrique, construisant ainsi un écosystème sain de praticiens de l’IA dans la région. Je suis tellement heureux d’avoir récemment rencontré plusieurs étudiants de l’AMMI qui ont rejoint DeepMind pour des stages.

Je suis également extrêmement passionné par les opportunités de sensibilisation dans la région de l’Europe de l’Est, d’où je viens, qui m’ont donné les bases scientifiques et la curiosité nécessaires pour maîtriser les concepts de l’intelligence artificielle. La communauté de l’apprentissage automatique en Europe de l’Est (EEML) est particulièrement impressionnante – grâce à ses activités, les étudiants et praticiens aspirants de la région sont en contact avec des chercheurs de classe mondiale et bénéficient de conseils professionnels inestimables. Cette année, j’ai contribué à l’organisation de l’EEML Serbian Machine Learning Workshop dans ma ville natale de Belgrade. J’espère que ce n’est que le premier d’une série d’événements visant à renforcer la communauté locale de l’IA et à habiliter les futurs leaders de l’IA dans la région de l’Europe de l’Est.

‍

Voir les postes ouverts : https://www.deepmind.com/careers/jobs?sort=alphabetical

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!