Accélérer la science de la fusion grâce au contrôle du plasma appris

Accelerating fusion science through learned plasma control.

Contrôle réussi du plasma de fusion nucléaire dans un tokamak grâce à l’apprentissage par renforcement profond

Pour résoudre la crise énergétique mondiale, les chercheurs ont depuis longtemps cherché une source d’énergie propre et illimitée. La fusion nucléaire, la réaction qui alimente les étoiles de l’univers, est l’une des solutions envisagées. En faisant fusionner et éclater de l’hydrogène, un élément courant de l’eau de mer, ce puissant processus libère d’énormes quantités d’énergie. Ici sur Terre, une façon dont les scientifiques ont recréé ces conditions extrêmes est l’utilisation d’un tokamak, un vide de forme de beignet entouré de bobines magnétiques, qui est utilisé pour contenir un plasma d’hydrogène plus chaud que le noyau du Soleil. Cependant, les plasmas de ces machines sont intrinsèquement instables, ce qui rend le maintien du processus nécessaire à la fusion nucléaire un défi complexe. Par exemple, un système de contrôle doit coordonner les nombreuses bobines magnétiques du tokamak et ajuster la tension sur celles-ci des milliers de fois par seconde pour s’assurer que le plasma ne touche jamais les parois du récipient, ce qui entraînerait une perte de chaleur et éventuellement des dommages. Pour aider à résoudre ce problème et dans le cadre de la mission de DeepMind de faire progresser la science, nous avons collaboré avec le Centre suisse de la fusion à l’École polytechnique fédérale de Lausanne pour développer le premier système d’apprentissage par renforcement profond (RL) capable de découvrir de manière autonome comment contrôler ces bobines et contenir avec succès le plasma dans un tokamak, ouvrant de nouvelles perspectives pour la recherche sur la fusion nucléaire.

Dans un article publié aujourd’hui dans Nature, nous décrivons comment nous pouvons contrôler avec succès le plasma de fusion nucléaire en construisant et en exécutant des contrôleurs sur le Tokamak à Configuration Variable (TCV) à Lausanne, en Suisse. En utilisant une architecture d’apprentissage qui combine le RL profond et un environnement simulé, nous avons produit des contrôleurs capables à la fois de maintenir le plasma stable et d’être utilisés pour le sculpter avec précision dans différentes formes. Ce “sculptage du plasma” montre que le système RL a réussi à contrôler la matière surchauffée et – ce qui est important – permet aux scientifiques d’étudier la réaction du plasma dans différentes conditions, améliorant ainsi notre compréhension des réacteurs à fusion.

“Au cours des deux dernières années, DeepMind a démontré le potentiel de l’IA pour accélérer les progrès scientifiques et ouvrir de nouvelles voies de recherche dans les domaines de la biologie, de la chimie, des mathématiques et maintenant de la physique.” Demis Hassabis, co-fondateur et PDG de DeepMind

• Exploration des transformateurs d’images-langage pour la compréhension des verbes
• Apprentissage de la transmission culturelle en temps réel robuste sans données humaines
• Prédire le passé avec Ithaca

Ce travail est un autre exemple puissant de la façon dont l’apprentissage automatique et les communautés d’experts peuvent se réunir pour relever de grands défis et accélérer les découvertes scientifiques. Notre équipe travaille dur pour appliquer cette approche à des domaines aussi divers que la chimie quantique, les mathématiques pures, la conception de matériaux, la prévision météorologique, et bien d’autres, afin de résoudre des problèmes fondamentaux et de garantir que l’IA bénéficie à l’humanité.

Photos du Tokamak à Configuration Variable (TCV) à l’EPFL vues de l’extérieur (gauche, crédit : SPC/EPFL) et de l’intérieur (droite, crédit : Alain Herzog / EPFL) et modèle 3D de TCV avec le récipient et les bobines de contrôle (centre, crédit : DeepMind et SPC/EPFL) :

Apprendre lorsque les données sont difficiles à obtenir

La recherche sur la fusion nucléaire est actuellement limitée par la capacité des chercheurs à mener des expériences. Bien qu’il existe des dizaines de tokamaks actifs dans le monde, ce sont des machines coûteuses et très demandées. Par exemple, le TCV ne peut maintenir le plasma lors d’une seule expérience que pendant trois secondes, après quoi il a besoin de 15 minutes pour refroidir et se remettre en place avant la tentative suivante. De plus, plusieurs groupes de recherche partagent souvent l’utilisation du tokamak, ce qui limite encore le temps disponible pour les expériences.

Étant donné les obstacles actuels à l’accès à un tokamak, les chercheurs se sont tournés vers des simulateurs pour aider à faire avancer la recherche. Par exemple, nos partenaires de l’EPFL ont développé un ensemble puissant d’outils de simulation qui modélisent la dynamique des tokamaks. Nous avons pu utiliser ces outils pour permettre à notre système RL d’apprendre à contrôler le TCV en simulation, puis valider nos résultats sur le vrai TCV, montrant ainsi que nous pouvions sculpter avec succès le plasma dans les formes souhaitées. Bien que cela soit moins coûteux et plus pratique pour former nos contrôleurs, nous avons quand même dû surmonter de nombreux obstacles. Par exemple, les simulateurs de plasma sont lents et nécessitent de nombreuses heures de calcul pour simuler une seconde de temps réel. De plus, l’état du TCV peut changer d’un jour à l’autre, ce qui nécessite le développement d’améliorations algorithmiques, à la fois physiques et simulées, et une adaptation aux réalités du matériel.

Succès en privilégiant la simplicité et la flexibilité

Les systèmes de contrôle du plasma existants sont complexes, nécessitant des contrôleurs séparés pour chacune des 19 bobines magnétiques du TCV. Chaque contrôleur utilise des algorithmes pour estimer en temps réel les propriétés du plasma et ajuster la tension des aimants en conséquence. En revanche, notre architecture utilise un seul réseau neuronal pour contrôler toutes les bobines en même temps, apprenant automatiquement quelles tensions sont les meilleures pour obtenir une configuration du plasma directement à partir des capteurs.

À titre de démonstration, nous avons d’abord montré que nous pouvions manipuler de nombreux aspects du plasma avec un seul contrôleur.

Dans la vidéo ci-dessus, nous voyons le plasma en haut du TCV au moment où notre système prend le contrôle. Notre contrôleur façonne d’abord le plasma selon la forme demandée, puis déplace le plasma vers le bas et le détache des parois, le suspendant au milieu du récipient sur deux pieds. Le plasma est maintenu immobile, comme cela serait nécessaire pour mesurer les propriétés du plasma. Ensuite, finalement, le plasma est dirigé vers le haut du récipient et détruit en toute sécurité.

Nous avons ensuite créé une gamme de formes de plasma étudiées par les physiciens du plasma pour leur utilité dans la production d’énergie. Par exemple, nous avons créé une forme en “flocon de neige” avec de nombreuses “jambes” qui pourraient aider à réduire le coût du refroidissement en répartissant l’énergie d’échappement sur différents points de contact sur les parois du récipient. Nous avons également démontré une forme proche de la proposition pour ITER, le tokamak de nouvelle génération en construction, car l’EPFL menait des expériences pour prédire le comportement des plasmas dans ITER. Nous avons même fait quelque chose qui n’avait jamais été fait auparavant dans le TCV en stabilisant une “goutte” où il y a deux plasmas à l’intérieur du récipient simultanément. Notre système unique a pu trouver des contrôleurs pour toutes ces différentes conditions. Nous avons simplement changé l’objectif que nous avons demandé, et notre algorithme a autonomement trouvé un contrôleur approprié.

L’avenir de la fusion et au-delà

Tout comme les progrès que nous avons constatés en appliquant l’IA à d’autres domaines scientifiques, notre démonstration réussie du contrôle du tokamak montre la puissance de l’IA pour accélérer et aider la science de la fusion, et nous prévoyons une sophistication croissante dans l’utilisation de l’IA à l’avenir. Cette capacité à créer autonomement des contrôleurs pourrait être utilisée pour concevoir de nouveaux types de tokamaks tout en concevant simultanément leurs contrôleurs. Notre travail indique également un avenir prometteur pour l’apprentissage par renforcement dans le contrôle de machines complexes. Il est particulièrement excitant de considérer les domaines où l’IA pourrait augmenter l’expertise humaine, en servant d’outil pour découvrir de nouvelles approches créatives pour des problèmes réels difficiles. Nous prédisons que l’apprentissage par renforcement sera une technologie transformative pour les applications de contrôle industriel et scientifique dans les années à venir, avec des applications allant de l’efficacité énergétique à la médecine personnalisée.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!