Optimisez votre LLM sans surcharger votre GPU

Optimisez votre LLM sans surcharger votre GPU' can be condensed to 'Optimisez votre LLM sans surcharger GPU'.

Comment affiner votre LLM avec un matériel limité et un budget serré

Demande de LLM personnalisés

Avec le succès de ChatGPT, nous avons constaté une augmentation de la demande de grands modèles de langage personnalisés.

Cependant, il y a eu un obstacle à l’adoption. Étant donné que ces modèles sont si volumineux, il a été difficile pour les entreprises, les chercheurs ou les amateurs ayant un budget modeste de les personnaliser pour leurs propres ensembles de données.

Maintenant, grâce aux méthodes d’affinage de paramètres efficaces (PEFT), il est tout à fait possible d’affiner des grands modèles de langage à un coût relativement faible. Dans cet article, je démontre comment y parvenir dans un Google Colab.

Je prévois que cet article sera précieux pour les praticiens, les amateurs, les apprenants et même les fondateurs de start-up pratiques.

• Estimez facilement les coûts de votre API OpenAI avec Tiktoken
• Un guide complet sur les termes d’interaction dans la prévision de séries temporelles
• 130 Astuces et Ressources d’Apprentissage Automatique Sélectionnées avec Soin sur 3 Ans (Plus un eBook Gratuit)

Donc, si vous avez besoin de créer un prototype bon marché, de tester une idée ou de créer un projet cool en science des données pour vous démarquer de la foule, continuez à lire.

Pourquoi affinons-nous les modèles ?

Les entreprises ont souvent des ensembles de données privés qui alimentent certains de leurs processus.

Pour vous donner un exemple, j’ai travaillé dans une banque où nous enregistrions les plaintes des clients dans une feuille de calcul Excel. Un analyste était chargé de catégoriser ces plaintes (manuellement) à des fins de reporting. Traitant des milliers de plaintes chaque mois, ce processus était long et sujet aux erreurs humaines.

Si nous avions eu les ressources nécessaires, nous aurions pu affiner un grand modèle de langage pour effectuer cette catégorisation à notre place, gagnant ainsi du temps grâce à l’automatisation et réduisant potentiellement le taux de catégorisations incorrectes.

Inspiré par cet exemple, le reste de cet article démontre comment nous pouvons affiner un LLM pour catégoriser les plaintes des consommateurs concernant les produits et services financiers.

L’ensemble de données

L’ensemble de données comprend de vraies données de plaintes de consommateurs pour les services financiers et les produits. Il s’agit de données ouvertes et disponibles au public publiées par le Bureau de protection financière des consommateurs.

Il y a plus de 120 000 plaintes anonymisées, réparties en environ 214 “sous-problèmes”.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!