Prenez les commandes NVIDIA NeMo SteerLM permet aux entreprises de personnaliser les réponses d’un modèle lors de l’inférence

Maîtrisez les commandes avec NVIDIA NeMo SteerLM - Personnalisez les réponses d'un modèle lors de l'inférence pour les entreprises

Les développeurs disposent désormais d’un nouveau volant assisté par IA pour les aider à garder la route tout en utilisant de puissants modèles de langage (LLM) pour atteindre leurs destinations souhaitées.

NVIDIA NeMo SteerLM permet aux entreprises de définir des boutons de réglage pour ajuster les réponses d’un modèle pendant son exécution en production, un processus appelé inférence. Contrairement aux méthodes actuelles de personnalisation d’un LLM, il permet à un seul entraînement de créer un modèle pouvant servir des dizaines, voire des centaines de cas d’utilisation, ce qui permet de gagner du temps et de l’argent.

Les chercheurs de NVIDIA ont créé SteerLM pour apprendre aux modèles d’IA ce qui est important pour les utilisateurs, par exemple les panneaux de signalisation à suivre dans leurs cas d’utilisation ou marchés spécifiques. Ces attributs définis par l’utilisateur peuvent mesurer presque n’importe quoi – par exemple, le degré d’utilité ou d’humour dans les réponses du modèle.

Un modèle, de nombreuses utilisations

Le résultat est un nouveau niveau de flexibilité.

Avec SteerLM, les utilisateurs définissent tous les attributs souhaités et les intègrent dans un seul modèle. Ensuite, ils peuvent choisir la combinaison dont ils ont besoin pour un cas d’utilisation donné pendant que le modèle s’exécute.

Par exemple, un modèle personnalisé peut désormais être ajusté pendant l’inférence pour répondre aux besoins uniques d’un département comptable, commercial ou d’ingénierie, ou d’un marché vertical.

Cette méthode permet également un cycle d’amélioration continu. Les réponses d’un modèle personnalisé peuvent servir de données pour un futur entraînement qui ajuste le modèle à de nouveaux niveaux d’utilité.

Gagner du temps et de l’argent

Jusqu’à présent, adapter un modèle d’IA génératif aux besoins d’une application spécifique était l’équivalent de reconstruire une transmission de moteur. Les développeurs devaient étiqueter minutieusement les ensembles de données, écrire beaucoup de nouveaux codes, ajuster les hyperparamètres sous le capot du réseau neuronal et réentrainer le modèle plusieurs fois.

SteerLM remplace ces processus complexes et chronophages par trois étapes simples :

  • Utiliser un ensemble de base de consignes, de réponses et d’attributs souhaités pour personnaliser un modèle d’IA qui prédit comment ces attributs se comporteront.
  • Générer automatiquement un ensemble de données à l’aide de ce modèle.
  • Former le modèle avec l’ensemble de données en utilisant des techniques standard de réglage supervisé.

De nombreux cas d’utilisation pour les entreprises

Les développeurs peuvent adapter SteerLM à presque tous les cas d’utilisation en entreprise qui nécessitent la génération de texte.

Avec SteerLM, une entreprise pourrait produire un seul agent conversationnel qu’elle peut personnaliser en temps réel en fonction des attitudes, des données démographiques ou des circonstances changeantes des clients dans les nombreux marchés verticaux ou géographies qu’elle dessert.

SteerLM permet également à un seul LLM de servir comme copilote rédactionnel flexible pour toute une entreprise.

Par exemple, les avocats peuvent modifier leur modèle pendant l’inférence pour adopter un style formel dans leurs communications juridiques. Ou le personnel marketing peut régler un style plus conversationnel pour leur public.

Game On avec SteerLM

Pour montrer le potentiel de SteerLM, NVIDIA l’a présenté dans l’une de ses applications classiques – les jeux (voir la vidéo ci-dessous).

Aujourd’hui, certains jeux comportent des dizaines de personnages non-jouables – des personnages que le joueur ne peut pas contrôler – qui répètent mécaniquement du texte préenregistré, indépendamment de l’utilisateur ou de la situation.

SteerLM donne vie à ces personnages en leur permettant de répondre avec plus de personnalité et d’émotion aux sollicitations des joueurs. Il s’agit d’un outil que les développeurs de jeux peuvent utiliser pour offrir des expériences uniques à chaque joueur.

La Genèse de SteerLM

Le concept derrière cette nouvelle méthode est arrivé de manière inattendue.

“Je me suis réveillé tôt un matin avec cette idée, alors je me suis levé et je l’ai notée”, se souvient Yi Dong, un chercheur en recherche appliquée chez NVIDIA qui a initié le travail sur SteerLM.

En construisant un prototype, il a réalisé qu’une technique populaire de conditionnement des modèles pouvait également faire partie de la méthode. Une fois que toutes les pièces se sont assemblées et que son expérience a fonctionné, l’équipe a contribué à articuler la méthode en quatre étapes simples.

Il s’agit de la dernière avancée dans la personnalisation des modèles, un domaine prometteur de la recherche en IA.

“C’est un domaine stimulant, une sorte de Saint Graal pour faire en sorte que l’IA reflète plus étroitement la perspective humaine – et j’adore un nouveau défi”, a déclaré le chercheur, qui a obtenu un doctorat en neurosciences computationnelles à l’université Johns Hopkins, puis a travaillé sur des algorithmes d’apprentissage automatique dans la finance avant de rejoindre NVIDIA.

Mettez les mains sur le volant

SteerLM est disponible en tant que logiciel open-source pour que les développeurs puissent l’essayer dès aujourd’hui. Ils peuvent également obtenir des détails sur la façon d’expérimenter un modèle Llama-2-13b personnalisé à l’aide de la méthode SteerLM.

Pour les utilisateurs qui souhaitent une sécurité et un support d’entreprise complets, SteerLM sera intégré à NVIDIA NeMo, un riche framework permettant de construire, personnaliser et déployer de grands modèles d’IA générative.

La méthode SteerLM fonctionne sur tous les modèles supportés par NeMo, y compris les LLMs pré-entraînés populaires de la communauté tels que Llama-2 et BLOOM.

Lisez un blog technique pour en savoir plus sur SteerLM.

Consultez l’avis concernant les informations sur le produit logiciel.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

L'histoire secrète de la collaboration de Microsoft avec OpenAI

Les entreprises avaient affiné un protocole pour lancer de manière ambitieuse mais sécurisée l'intelligence artificie...

AI

L'imagerie médicale échoue sur les peaux noires. Les chercheurs l'ont résolu.

Une équipe dirigée par des chercheurs de l'Université Johns Hopkins a mis au point une méthode permettant de produire...

AI

La boîte de recherche de Google a changé la signification de l'information

La recherche sur le Web promettait de résoudre les questions. Au lieu de cela, elle a provoqué une douce apocalypse d...

AI

Automatisez la pré-étiquetage PDF pour Amazon Comprehend

Amazon Comprehend est un service de traitement du langage naturel (NLP) qui fournit des API pré-entraînées et personn...