Révolution de l’informatique basée sur la lumière Alimentation des programmes d’apprentissage automatique de type ChatGPT avec des réseaux neuronaux optiques améliorés.

Révolution de l'informatique basée sur la lumière alimentation des programmes d'apprentissage automatique avec des réseaux neuronaux optiques améliorés.

La capacité de ChatGPT à produire des essais, des e-mails et du code élaborés en réponse à quelques simples questions a suscité l’attention internationale. Des chercheurs du MIT ont rapporté une méthode qui a le potentiel d’ouvrir la voie à des programmes d’apprentissage automatique beaucoup plus performants que celui responsable de ChatGPT. De plus, leur technologie pourrait consommer moins d’énergie que les supercalculateurs de pointe alimentant les modèles d’apprentissage automatique d’aujourd’hui.

L’équipe rapporte la première démonstration expérimentale du nouveau système, qui utilise des centaines de lasers à l’échelle du micron pour effectuer des calculs basés sur le mouvement de la lumière plutôt que sur les électrons. Le nouveau système est plus de 100 fois plus économe en énergie que les ordinateurs numériques de pointe actuels pour l’apprentissage automatique et 25 fois plus puissant en termes de densité de calcul.

De plus, ils notent “plusieurs ordres de grandeur supplémentaires pour une amélioration future”. Cela, ajoutent les scientifiques, “ouvre une voie aux processeurs optoélectroniques à grande échelle pour accélérer les tâches d’apprentissage automatique, des centres de données aux appareils décentralisés en périphérie.” À l’avenir, de petits appareils comme les téléphones portables pourraient être en mesure d’exécuter des programmes qui ne peuvent être calculés que dans des centres de données massifs.

• Des chercheurs du MIT et de Stanford ont développé une technique d’apprentissage automatique qui peut apprendre efficacement à contrôler un robot, ce qui conduit à de meilleures performances avec moins de données.
• Une nouvelle recherche en IA en provenance de Chine propose SHIP une approche d’IA générative plug-and-play pour améliorer les méthodes actuelles de fine-tuning.
• Des chercheurs de l’ETH Zurich présentent LMQL un langage de programmation pour l’interaction avec les modèles de langage.

Les modèles d’apprentissage automatique massifs qui imitent le traitement de l’information du cerveau sont la base des réseaux neuronaux profonds (DNN) comme celui qui alimente ChatGPT. Alors que l’apprentissage automatique se développe, les technologies numériques qui alimentent les DNN d’aujourd’hui atteignent un plateau. De plus, ils ne se trouvent souvent que dans de très grands centres de données en raison de leurs besoins énergétiques extrêmes. Cela stimule l’innovation dans l’architecture informatique.

La discipline des sciences des données évolue en raison de l’essor des réseaux neuronaux profonds (DNN). En réponse à l’expansion exponentielle de ces DNN, qui sollicite les capacités du matériel informatique traditionnel, les réseaux neuronaux optiques (ONN) ont récemment évolué pour exécuter des tâches de DNN à des fréquences d’horloge élevées, en parallèle et avec une perte de données minimale. Une faible efficacité de conversion électro-optique, des empreintes d’appareils considérables et des interférences de canaux contribuent à une faible densité de calcul dans les ONN, tandis qu’un manque de non-linéarité en ligne provoque un retard significatif. Les chercheurs ont expérimentalement démontré un système ONN multiplexé spatio-temporel pour résoudre tous ces problèmes en même temps. Ils utilisent le codage des neurones à l’aide de réseaux de lasers à émission de surface à cavité verticale (VCSEL), qui sont fabriqués en grande quantité et présentent une excellente conversion électro-optique.

Pour la première fois, les chercheurs proposent une petite conception qui aborde ces trois problèmes en même temps. La télédétection LiDAR moderne et l’impression laser utilisent tous deux cette architecture, qui est basée sur des réseaux de lasers à émission de surface verticale (VCSEL). Ces mesures semblent représenter une amélioration de deux ordres de grandeur dans un avenir proche. Le processeur optoélectronique offre de nouvelles opportunités pour accélérer les processus d’apprentissage automatique dans les infrastructures centralisées et distribuées.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!