De GPT2 à Stable Diffusion Hugging Face arrive dans la communauté Elixir

Hugging Face arrive dans la communauté Elixir avec Stable Diffusion, une évolution de GPT2.

La communauté Elixir est heureuse d’annoncer l’arrivée de plusieurs modèles de réseaux neuronaux, de GPT2 à Stable Diffusion, sur Elixir. Cela est possible grâce à la bibliothèque Bumblebee récemment annoncée, qui est une implémentation des Transformers de Hugging Face en pur Elixir.

Pour aider tout le monde à commencer avec ces modèles, l’équipe derrière Livebook – une plateforme de cahier de calcul pour Elixir – a créé une collection de “cellules intelligentes” qui permet aux développeurs de mettre en place différentes tâches de réseaux neuronaux en seulement 3 clics. Vous pouvez regarder ma vidéo d’annonce pour en savoir plus :

Grâce au support de concurrence et de distribution dans la machine virtuelle Erlang, sur laquelle s’exécute Elixir, les développeurs peuvent intégrer et servir ces modèles dans le cadre de leurs applications web Phoenix existantes, les intégrer dans leurs pipelines de traitement de données avec Broadway, et les déployer aux côtés de leurs systèmes embarqués Nerves – sans avoir besoin de dépendances tierces. Dans tous les scénarios, les modèles Bumblebee se compilent à la fois pour le CPU et le GPU.

Contexte

Les efforts pour apporter l’apprentissage automatique à Elixir ont commencé il y a près de 2 ans avec le projet Numerical Elixir (Nx). Le projet Nx implémente des tenseurs multidimensionnels ainsi que des “définitions numériques”, un sous-ensemble d’Elixir qui peut être compilé pour le CPU/GPU. Au lieu de réinventer la roue, Nx utilise des liaisons pour Google XLA (EXLA) et Libtorch (Torchx) pour la compilation CPU/GPU.

• Illustration de l’apprentissage par renforcement à partir des retours humains (RLHF)
• Entraînement et inférence plus rapides Habana Gaudi®2 vs Nvidia A100 80GB
• Un guide complet des ensembles de données audio

Plusieurs autres projets sont nés de l’initiative Nx. Axon apporte des réseaux neuronaux fonctionnels composables à Elixir, s’inspirant de projets tels que Flax et PyTorch Ignite. Le projet Explorer emprunte à dplyr et Polars de Rust pour fournir des dataframes expressifs et performants à la communauté Elixir.

Bumblebee et Tokenizers sont nos dernières versions. Nous sommes reconnaissants envers Hugging Face d’avoir permis l’apprentissage automatique collaboratif entre les communautés et les outils, ce qui a joué un rôle essentiel dans la mise à niveau de l’écosystème Elixir.

Ensuite, nous prévoyons de nous concentrer sur la formation et le transfert d’apprentissage des réseaux neuronaux en Elixir, ce qui permettra aux développeurs d’améliorer et de spécialiser des modèles pré-entraînés en fonction des besoins de leurs entreprises et de leurs applications. Nous espérons également publier davantage sur notre développement d’algorithmes d’apprentissage automatique traditionnels.

À vous de jouer

Si vous voulez essayer Bumblebee, vous pouvez :

• Télécharger Livebook v0.8 et générer automatiquement des “tâches de réseaux neuronaux” à partir du menu de la cellule “+ Smart” dans vos cahiers. Nous travaillons actuellement sur l’exécution de Livebook sur des plates-formes supplémentaires et des espaces (restez à l’écoute! 😉).

• Nous avons également écrit des applications Phoenix en un seul fichier en tant qu’exemples de modèles Bumblebee à utiliser dans vos applications Phoenix (+ LiveView). Ils devraient fournir les blocs de construction nécessaires pour les intégrer à votre application de production.

• Pour une approche plus pratique, lisez certains de nos cahiers.

Si vous voulez nous aider à construire l’écosystème de l’apprentissage automatique pour Elixir, consultez les projets ci-dessus et essayez-les. Il y a de nombreux domaines intéressants, du développement du compilateur à la construction de modèles. Par exemple, les demandes de tirage qui apportent plus de modèles et d’architectures à Bumblebee sont les bienvenues. L’avenir est concurrent, distribué et amusant !

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!