Un algorithme d’apprentissage inspiré du cerveau permet la métaplasticité dans les réseaux neuronaux artificiels et à impulsions.

Un algorithme d'apprentissage inspiré du cerveau permet la métaplasticité dans les réseaux neuronaux artificiels.

L’attribution du crédit dans les réseaux neuronaux pour corriger les erreurs de sortie globales a été déterminée en utilisant de nombreuses règles de plasticité synaptique dans les réseaux neuronaux naturels. La plasticité à court terme, l’apprentissage Hebbien et la plasticité dépendante de l’ordre des impulsions (STDP) ont été les principaux objectifs des tentatives précédentes visant à introduire des principes de plasticité biologiquement pertinents dans les réseaux neuronaux à impulsions et non à impulsions. La STDP va au-delà de l’apprentissage Hebbien en tenant compte de l’ordre temporel des impulsions pré- et post-synaptiques pour modifier les synapses. Les règles de plasticité synaptique dans les deux cas sont basées uniquement sur l’activité neuronale locale plutôt que de représenter précisément les messages d’instruction globaux. Les neuromodulateurs tels que la dopamine, la noradrénaline, la sérotonine et l’acétylcholine agissent sur de nombreuses synapses et proviennent de neurones neuromodulateurs spécifiques à axones largement dispersés pour produire une modulation globale des synapses lors de l’apprentissage associé à la récompense.

Les méthodes de neuromodulation biologique ont inspiré plusieurs algorithmes de plasticité dans les modèles de réseaux neuronaux. Il y a un décalage significatif entre la modification Hebbienne et la récompense, mais la règle a inspiré d’autres formes d’apprentissage par renforcement. Par exemple, la règle des trois facteurs pour l’apprentissage par renforcement utilise l’activité neuronale pré- et post-synaptique comme les deux premiers facteurs et les niveaux de neuromodulateur dépendants de la récompense distale comme le troisième facteur. Les modèles de trace d’éligibilité stockent un enregistrement des impulsions pré- et post-synaptiques précédentes qui se sont produites simultanément pour faciliter les changements synaptiques retardés dépendant de la récompense. L’amplitude et la polarité synaptiques ont été déterminées dans des modèles de neurosciences computationnelles au niveau du neuromodulateur, mais ces méthodes doivent encore être incluses dans les réseaux neuronaux artificiels ou à impulsions. En ce qui concerne l’apprentissage supervisé de la reconnaissance d’images et de la parole, l’algorithme NACA a non seulement réduit de manière significative le problème de l’oubli catastrophique lors de l’apprentissage des classes, mais il a également amélioré la précision de la reconnaissance et réduit le coût de calcul. Les changements de poids synaptiques dans la couche enfouie ont été cartographiés plus en détail, révélant que la distribution des changements de poids de NACA évitait une potentiation ou une dépression synaptique excessive, protégeant ainsi une grande proportion de synapses avec de légères modifications. Nos résultats présentent collectivement un nouvel algorithme inspiré du cerveau pour la neuromodulation globale basée sur les attentes de la plasticité synaptique, ce qui permet des performances de réseau neuronal avec une grande précision et un faible coût de calcul dans une gamme de tâches de reconnaissance et d’apprentissage continu.

Pour résoudre le problème de l’oubli catastrophique dans les réseaux neuronaux artificiels (ANN) et les réseaux neuronaux à impulsions (SNN), des chercheurs de l’Institut d’automatisation de l’Académie chinoise des sciences ont présenté une nouvelle approche d’apprentissage inspirée du cerveau (NACA) basée sur la plasticité dépendante de la modulation neuronale.

• Les deux nouvelles entreprises de Meta AI pour l’équité en vision par ordinateur introduction de la licence pour DINOv2 et publication de FACET.
• Principaux assistants de messagerie AI (septembre 2023)
• Découvrez AnomalyGPT Une nouvelle approche IAD basée sur les modèles de vision-langage de grande envergure (LVLM) pour détecter les anomalies industrielles.

Cette technique repose sur un modèle mathématique du trajet de modulation neuronale sous la forme d’un codage matriciel anticipé, qui à son tour est basé sur la structure du cerveau du trajet de modulation neuronale. Des signaux de supervision de dopamine de différentes intensités sont créés en réponse au signal de stimulus et influencent la plasticité des neurones et des synapses environnants.

Les ANN et les SNN peuvent être entraînés à l’aide des techniques d’apprentissage par flux pur approuvées par NACA. Il se synchronise avec le signal d’entrée et propage même les informations avant que l’appel entrant ne soit terminé. NACA démontre des avantages significatifs en termes de convergence rapide et de réduction de l’oubli catastrophique lorsqu’il est combiné à une modification spécifique de la plasticité dépendante de l’ordre des impulsions. De plus, l’équipe de recherche a étendu la modulation neuronale à la plage de plasticité neuronale et a testé la capacité d’apprentissage continu de NACA dans l’apprentissage continu de classe.

Les chercheurs ont défini les niveaux de neuromodulateurs au niveau des sous-populations de synapses dans les couches cachées et de sortie lors de l’entraînement du réseau en utilisant l’algorithme NACA, en tenant compte du type d’entrée et de l’erreur de sortie. La dépendance de l’efficacité synaptique par rapport au niveau de neuromodulateurs ou de calcium a inspiré la modulation non linéaire de l’amplitude et de la polarité de la LTP et de la LTD à chaque synapse dans les SNN. La liaison de la dopamine aux synapses contenant des récepteurs de type D1 ou D2, par exemple, peut activer de manière variable des cascades de signalisation intracellulaire, entraînant la modification de la LTP ou de la LTD induite par l’activité.

Nous avons intégré la plasticité synaptique dépendante de la neuromodulation dans un algorithme d’apprentissage appelé NACA pour les SNN et les ANN. Nous avons constaté des améliorations significatives de la précision et une diminution spectaculaire du coût de calcul lors de l’application du réseau à des tâches courantes de reconnaissance d’images et de voix. La technique NACA a considérablement réduit l’oubli catastrophique des cinq tâches de CL de classe de complexité variée. Alors que d’autres algorithmes d’apprentissage de réseau inspirés de la neuromodulation, tels que la théorie globale de l’espace de travail neuronal dans les réseaux neuronaux à impulsions (SNN) et la neuromodulation de la probabilité d’abandon dans les réseaux neuronaux artificiels (ANN), ont été développés, NACA se distingue par trois qualités distinctes qui peuvent contribuer à son succès. Le niveau de neuromodulateur au niveau de neurones et de synapses spécifiques dans les couches cachées et de sortie est ajusté en fonction des attentes basées sur le type d’entrée et l’erreur de sortie. Deuxièmement, le niveau de neuromodulateur affecte de manière non linéaire la plasticité synaptique locale, telle que la LTP ou la LTD. Troisièmement, la rétropropagation globale des signaux erronés est sans importance pour l’apprentissage du réseau, qui dépend entièrement de la plasticité locale.

L’algorithme NACA a considérablement réduit le coût de calcul de tous les travaux par rapport aux algorithmes d’apprentissage existants. L’utilisation de NACA a permis de réduire l’oubli extrême qui se produit souvent lors de l’apprentissage continu. Une cartographie plus poussée des changements de poids synaptiques au niveau des synapses de la couche cachée lors de la classe CL a révélé que NACA entraînait des changements de poids synaptiques normalement distribués sans potentiation ou dépression excessive et préservait de nombreuses synapses avec une modification minimale lors de la classe CL. La capacité de NACA à réduire l’amnésie extrême peut être basée sur la façon dont les changements de poids synaptiques sont distribués.

Voici quelques restrictions imposées à l’algorithme NACA proposé :

• Premièrement, dans les réseaux neuronaux plus profonds, l’algorithme NACA présente une certaine instabilité lors de la neuromodulation des changements synaptiques. Au cours des premières époques, par exemple, la neuromodulation parallèle au niveau des synapses multicouches contribue à une baisse temporaire de la précision des tests.
• Deuxièmement, conformément au codage prédictif, l’algorithme NACA n’est pas facilement intégré à l’algorithme BP traditionnel, car sa neuromodulation globale se produit avec ou même avant la propagation locale des impulsions.
• Troisièmement, NACA introduit et étudie uniquement des neurones LIF excitateurs et un seul type de neuromodulateur, sans examiner l’interaction des neuromodulations de plusieurs types de neurones.

L’algorithme NACA, qui intègre des règles d’apprentissage biologiquement plausibles sans recourir à des calculs de descente de gradient globaux similaires à BP, pourrait stimuler l’apprentissage du réseau pour les SNN et les ANN, en résumé. Il démontre que l’efficacité élevée et le faible coût de calcul de l’apprentissage automatique peuvent être obtenus en utilisant des méthodes inspirées du cerveau. Si l’algorithme NACA est implémenté dans des dispositifs neuromorphiques, il pourrait ouvrir la voie à des systèmes d’apprentissage continu en ligne à la fois énergétiquement et temporellement efficaces. Vu sous l’angle des neurosciences computationnelles, le succès de NACA prouve que la flexibilité des circuits neuronaux du cerveau pour l’apprentissage continu peut découler de la diversité de la plasticité locale basée sur la métaplasticité.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!