Des chercheurs de l’ITU Danemark introduisent des programmes de développement neural combler le fossé entre la croissance biologique et les réseaux neuronaux artificiels.

Des chercheurs de l'ITU Danemark lancent des programmes de développement neural pour combler le fossé entre la croissance biologique et les réseaux neuronaux artificiels.

Le cerveau humain est un organe extraordinairement complexe, souvent considéré comme l’un des systèmes les plus complexes et sophistiqués de l’univers connu. Le cerveau est organisé de manière hiérarchique, avec des zones de traitement sensoriel de bas niveau envoyant des informations vers des régions cognitives et décisionnelles de haut niveau. Cette hiérarchie permet l’intégration des connaissances et des comportements complexes. Le cerveau traite les informations en parallèle, avec différentes régions et réseaux travaillant simultanément sur différents aspects de la perception, de la cognition et du contrôle moteur. Ce traitement parallèle contribue à son efficacité et à son adaptabilité.

Pouvons-nous adapter ces techniques d’organisation hiérarchique et de traitement parallèle dans l’apprentissage profond ? Oui, ce domaine d’étude s’appelle les réseaux neuronaux. Des chercheurs de l’université de Copenhague présentent une méthode d’encodage de type réseau neuronal graphique dans laquelle la croissance d’un réseau de politiques est contrôlée par un autre réseau fonctionnant dans chaque neurone. Ils l’appellent un programme de développement neuronal (NDP).

Certains processus biologiques consistent à mapper un génotype compact à un phénotype plus grand. Inspirés par cela, les chercheurs ont construit des méthodes d’encodage indirect. Dans l’encodage indirect, la description de la solution est compressée. Cela permet de réutiliser les informations et la solution finale contiendra plus de composants que la description elle-même. Cependant, ces encodages (en particulier la famille des encodages indirects) doivent être développés.

• Les chercheurs de Google DeepMind introduisent Promptbreeder un système d’IA autoréférentiel et d’amélioration automatique qui peut faire évoluer automatiquement des propositions efficaces spécifiques à un domaine donné.
• Classification équitable avec le débiaisement adversaire
• Compréhension approfondie pour optimiser les performances d’un réseau de neurones artificiels

L’architecture du NDP comprend un perceptron multicouche (MLP) et un automata cellulaire graphique (GNCA). Cela met à jour les plongements des nœuds après chaque étape de passage de message pendant la phase de développement. En général, les automates cellulaires sont des modèles mathématiques constitués d’une grille de cellules dans plusieurs états. Ces automates évoluent au cours de pas de temps discrets en fonction d’un ensemble de règles qui déterminent comment les états des cellules changent au fil du temps.

Dans le NDP, le même modèle est appliqué à chaque. Ainsi, le nombre de paramètres est constant par rapport à la taille du graphe sur lequel il opère. Cela confère un avantage au NDP car il peut fonctionner avec n’importe quel réseau neuronal de taille ou d’architecture arbitraire. Le réseau neuronal NDP peut également être formé avec n’importe quel algorithme d’optimisation boîte noire pour satisfaire toute fonction objective. Cela permettra aux réseaux neuronaux de résoudre des tâches d’apprentissage par renforcement et de classification et de présenter des propriétés topologiques.

Les chercheurs ont également essayé d’évaluer le NDP différentiable en comparant des modèles entraînés et testés sur différents nombres d’étapes de croissance. Ils ont observé que, pour la plupart des tâches, les performances du réseau diminuaient après un certain nombre d’étapes de croissance. La raison de cette observation était que les nouveaux modes du réseau devenaient plus grands. Il serait nécessaire d’avoir une méthode automatisée pour savoir quand arrêter la croissance des étapes. Ils affirment que cette automatisation serait un ajout important au NDP. À l’avenir, ils souhaitent également inclure des techniques de croissance et d’adaptation dépendantes de l’activité et modulées par la récompense pour le NDP.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!