Des chercheurs de l’Université Vanderbilt et de l’UC Davis présentent PRANC une plateforme d’apprentissage profond efficace en termes de mémoire lors des phases d’apprentissage et de reconstruction.

Des chercheurs universitaires révèlent PRANC une plateforme d'apprentissage profond optimale pour la mémoire durant les phases d'apprentissage et de reconstruction.

Des chercheurs de l’Université de Vanderbilt et de l’Université de Californie à Davis ont introduit PRANC, un cadre démontrant la reparamétrisation d’un modèle profond comme une combinaison linéaire de modèles profonds initialisés aléatoirement et figés dans l’espace des poids. Au cours de l’entraînement, on recherche des minima locaux dans le sous-espace engendré par ces réseaux de base, ce qui permet une compression significative du modèle profond. PRANC aborde les problèmes de stockage et de communication des modèles profonds, offrant des applications potentielles dans l’apprentissage multi-agent, les apprenants continus, les systèmes fédérés et les appareils périphériques. PRANC permet une inférence efficace en termes de mémoire grâce à la génération en temps réel des poids des couches.

L’étude aborde les travaux antérieurs sur la compression de modèles et l’apprentissage continu à l’aide de réseaux initialisés aléatoirement et de sous-réseaux. Elle compare différentes méthodes de compression, notamment le hachage, l’élagage et la quantification, mettant en évidence leurs limites. Le cadre PRANC proposé vise une compression extrême du modèle, surpassant les méthodes existantes. PRANC est comparée à des codecs traditionnels et à des approches basées sur l’apprentissage dans la compression d’images, montrant son efficacité. Les limitations comprennent les difficultés de reparamétrisation de paramètres de modèles spécifiques et le coût de calcul pour les grands modèles.

La recherche remet en question l’idée selon laquelle l’amélioration de la précision des modèles profonds provient uniquement de l’augmentation de la complexité ou des paramètres. PRANC est une approche novatrice qui paramètre un modèle profond comme une combinaison linéaire de modèles aléatoires figés, dans le but de compresser considérablement les modèles pour un stockage et une communication efficaces. PRANC aborde les défis de l’apprentissage multi-agent, des apprenants continus, des systèmes fédérés et des appareils périphériques. L’étude met l’accent sur la nécessité de taux de compression extrêmes et compare PRANC à d’autres méthodes de compression. Les limitations comprennent les difficultés de reparamétrisation de paramètres de modèles spécifiques et les coûts de calcul pour les grands modèles.

PRANC est un cadre qui paramètre des modèles profonds en combinant des modèles initialisés aléatoirement dans l’espace des poids. Il optimise les poids pour la résolution des tâches, en minimisant la perte de tâche dans l’espace des modèles de base. L’utilisation d’une seule graine scalaire pour la génération du modèle et de coefficients appris pour la reconstruction réduit les coûts de communication. L’optimisation utilise la rétropropagation standard, améliorant l’efficacité de la mémoire en fragmentant les modèles de base et en générant chaque fragment avec un générateur pseudo-aléatoire basé sur le GPU. L’application de PRANC à la compression d’images est explorée, comparant ses performances à celles d’autres méthodes.

L’approche évalue les performances de classification d’images et de compression de PRANC, démontrant sa supériorité dans les deux tâches. PRANC réalise une compression significative, surpassant les références presque 100 fois en classification d’images, permettant une inférence efficace en termes de mémoire. La compression d’images dépasse les méthodes JPEG et INR entraînées en termes d’évaluations PSNR et MS-SSIM à différents débits binaires. Des visualisations illustrent les images reconstruites à l’aide de différents sous-ensembles. Des comparaisons avec des méthodes d’élagage mettent en évidence une précision compétitive et une efficacité des paramètres.

PRANC est un cadre qui compresse considérablement les modèles profonds en les paramétrisant comme une combinaison linéaire de modèles initialisés aléatoirement et figés. PRANC surpassent les références en classification d’images, réalisant une compression substantielle. Il permet une inférence efficace en termes de mémoire avec la génération en temps réel des poids des couches. Dans la compression d’images, PRANC dépasse les méthodes JPEG et INR entraînées en termes d’évaluations PSNR et MS-SSIM à différents débits binaires. L’étude suggère l’applicabilité de PRANC dans l’apprentissage tout au long de la vie et les scénarios distribués. Les limitations comprennent les difficultés de reparamétrisation de certains paramètres du modèle et les coûts de calcul pour les grands modèles.

Les applications futures et les améliorations de PRANC suggèrent d’étendre PRANC aux modèles génératifs compacts tels que les GAN ou les modèles de diffusion pour un stockage et une communication efficaces des paramètres. Les orientations potentielles comprennent l’apprentissage des coefficients de mélange linéaire dans un ordre décroissant d’importance pour renforcer la compacité. Une autre voie consiste à optimiser l’ordre des modèles de base en fonction des contraintes de communication ou de stockage pour équilibrer précision et compacité. L’étude propose également d’explorer PRANC dans les méthodes d’apprentissage semi-supervisé basées sur des exemples, en mettant l’accent sur son rôle dans l’apprentissage de la représentation grâce à une augmentation agressive des images.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Les chercheurs de l'Université de New York (NYU) et de Google AI explorent les frontières de l'apprentissage automatique dans le raisonnement déductif avancé.

L’emploi de nombreuses règles de déduction et la construction de sous-preuves permettent à la complexité des pr...

AI

Découvrez CREATOR un nouveau cadre d'IA novateur qui permet aux LLM de créer leurs propres outils grâce à la documentation et à la réalisation de code.

Les modèles de langage de grande taille (LLM) ont fait d’énormes progrès ces dernières années, tels que GPT-3, ...

AI

Des chercheurs de l'UCSC et de l'Université technique de Munich proposent RECAST un nouveau modèle basé sur l'apprentissage profond pour prévoir les répliques.

L’intelligence artificielle trouve sa place dans presque tous les domaines possibles. Des recherches considérab...

AI

Révolutionner la restauration de la parole la recherche dirigée par Stanford dévoile une neuroprothèse haute performance pour une communication sans contrainte.

Les interfaces cerveau-ordinateur (BCI) de parole sont une avancée technologique de pointe avec des applications prom...

AI

Les lunettes de réalité virtuelle pour souris créent des scenarios immersifs pour la recherche cérébrale

Des chercheurs de l'Université Northwestern ont développé des lunettes de réalité virtuelle pour les souris.

Science des données

Extensions Chrome d'IA pour la feuille de triche des scientifiques des données

La dernière fiche de triche d'IPGirl vous présente une impressionnante sélection d'outils et de ressources avancés co...