Les dernières recherches de DeepMind à ICML 2022

'Latest DeepMind research at ICML 2022'

Ouvrir la voie à des systèmes généralisés avec une IA plus efficace et plus efficiente ‍

À partir de ce week-end, la trente-neuvième Conférence internationale sur l’apprentissage automatique ( ICML 2022 ) se tiendra du 17 au 23 juillet 2022 au Baltimore Convention Center dans le Maryland, aux États-Unis, et se déroulera sous la forme d’un événement hybride.

Des chercheurs travaillant dans les domaines de l’intelligence artificielle, de la science des données, de la vision par ordinateur, de la biologie computationnelle, de la reconnaissance vocale, et plus encore, présenteront et publieront leurs travaux de pointe en apprentissage automatique.

En plus de parrainer la conférence et de soutenir les ateliers et les réunions sociales organisés par nos partenaires de longue date LatinX , Black in AI , Queer in AI et Women in Machine Learning , nos équipes de recherche présenteront 30 articles, dont 17 collaborations externes. Voici une brève présentation de nos présentations orales et en vedette à venir :

Apprentissage par renforcement efficace

Rendre les algorithmes d’apprentissage par renforcement (RL) plus efficaces est essentiel pour construire des systèmes d’IA généralisés. Cela inclut l’amélioration de la précision et de la vitesse de performance, l’amélioration de l’apprentissage par transfert et de l’apprentissage sans étiquette, ainsi que la réduction des coûts de calcul.

• Perceiver AR génération autoregressive à long contexte polyvalente
• Le cercle vertueux de la recherche en IA
• AlphaFold révèle la structure de l’univers des protéines

Dans l’une de nos présentations orales sélectionnées, nous montrons une nouvelle façon d’appliquer l’amélioration de politique généralisée (GPI) sur des compositions de politiques qui la rend encore plus efficace pour améliorer les performances d’un agent. Une autre présentation orale propose une nouvelle façon fondée et évolutive d’explorer efficacement sans avoir besoin de bonus . Parallèlement, nous proposons une méthode pour augmenter un agent RL avec un processus de récupération basé sur la mémoire , réduisant ainsi la dépendance de l’agent à sa capacité de modèle et permettant une utilisation rapide et flexible des expériences passées.

Progrès dans les modèles de langage

Le langage est une partie fondamentale de l’être humain. Il donne aux gens la capacité de communiquer des pensées et des concepts, de créer des souvenirs et de construire une compréhension mutuelle. L’étude des aspects du langage est essentielle pour comprendre comment fonctionne l’intelligence, tant dans les systèmes d’IA que chez les humains.

Notre présentation orale sur les lois d’échelle unifiées et notre article sur la récupération explorent tous deux comment nous pourrions construire des modèles de langage plus grands de manière plus efficace. En examinant les moyens de construire des modèles de langage plus efficaces, nous introduisons un nouvel ensemble de données et une référence avec StreamingQA qui évalue comment les modèles s’adaptent et oublient les nouvelles connaissances au fil du temps, tandis que notre article sur la génération de récits montre comment les modèles de langage pré-entraînés actuels ont encore du mal à créer des textes plus longs en raison de limitations de mémoire à court terme.

Raisonnement algorithmique

Le raisonnement algorithmique neuronal consiste à construire des réseaux neuronaux capables d’effectuer des calculs algorithmiques. Ce domaine de recherche en plein essor offre un grand potentiel pour aider à adapter des algorithmes connus à des problèmes du monde réel.

Nous introduisons le banc d’essai CLRS pour le raisonnement algorithmique , qui évalue les réseaux neuronaux en effectuant une série diversifiée de trente algorithmes classiques du manuel “Introduction to Algorithms”. De même, nous proposons un algorithme général d’apprentissage incrémental qui adapte la relecture d’expérience rétrospective à la démonstration automatisée de théorèmes, un outil important pour aider les mathématiciens à prouver des théorèmes complexes. De plus, nous présentons un cadre pour la simulation apprise basée sur des contraintes , montrant comment les méthodes de simulation traditionnelles et numériques peuvent être utilisées dans les simulateurs d’apprentissage automatique – une nouvelle direction importante pour résoudre des problèmes de simulation complexes en science et en ingénierie.

‍

Consultez l’ensemble de notre travail à ICML 2022 ici .

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!