Des chercheurs de l’USC et de Microsoft proposent UniversalNER un nouveau modèle d’IA entraîné avec distillation ciblée reconnaissant plus de 13 000 types d’entités et dépassant la précision de NER de ChatGPT de 9% F1 sur 43 ensembles de données.

Des chercheurs de l'USC et de Microsoft ont développé UniversalNER, un modèle d'IA qui reconnaît plus de 13 000 types d'entités et dépasse la précision de NER de ChatGPT de 9% F1 sur 43 ensembles de données.

ChatGPT et d’autres modèles de langage de grande taille (LLM) ont montré des capacités d’interprétation impressionnantes, mais leurs coûts de formation et d’inférence sont souvent prohibitifs. De plus, l’accès “white-box” aux poids du modèle et aux probabilités d’inférence est souvent crucial pour l’explicabilité et la confiance dans les applications essentielles à la mission, comme les soins de santé. En conséquence, l’accordage des instructions a gagné en popularité en tant que méthode pour condenser les LLM en modèles d’étudiants plus abordables et transparents. Ces modèles d’étudiants ont montré des compétences convaincantes pour imiter ChatGPT, comme Alpaca et Vicuna l’ont montré. Un examen approfondi révèle qu’ils doivent encore rattraper le LLM idéal, en particulier dans les applications ciblées en aval.

En raison de la puissance de calcul limitée disponible, une distillation générique ne peut créer qu’une approximation superficielle du LLM d’origine pour toutes les applications concevables. À la place, ils étudient la distillation ciblée dans cette recherche, où ils entraînent des modèles d’étudiants par ajustement d’instructions axées sur la mission pour une classe d’applications diversifiée comme l’extraction d’informations ouvertes. Ils démontrent que tout en maintenant sa généralisabilité à travers les types sémantiques et les domaines, cela peut reproduire au maximum les capacités du LLM pour la classe d’application spécifiée. Étant donné que la reconnaissance d’entités nommées (NER) est l’un des problèmes les plus fondamentaux du traitement du langage naturel, ils l’ont choisi pour leur étude de cas. Des recherches récentes démontrent que les LLM doivent encore rattraper le système supervisé le plus avancé pour un type d’entité lorsqu’il y a de nombreuses instances annotées.

Cependant, pour la plupart des types d’objets, il faut de la musique peu annotable. Le développement d’exemples annotés est coûteux et prend du temps, en particulier dans des secteurs à forte valeur ajoutée comme la biologie, où l’annotation nécessite des connaissances spécialisées. De nouveaux types d’entités émergent continuellement. Les modèles NER supervisés montrent également une faible généralisabilité pour les nouveaux domaines et types d’entités, car ils sont entraînés sur des types et des domaines d’entités pré-spécifiés. Ils décrivent un processus générique de distillation ciblée de LLM et montrent comment la NER à domaine ouvert peut l’utiliser. Les chercheurs de l’Université de Californie du Sud et de Microsoft Research démontrent comment utiliser ChatGPT pour créer des données d’accordage des instructions pour la NER à partir de grandes quantités de texte en ligne non étiqueté et utiliser LLaMA pour créer les modèles UniversalNER (abrégé UniNER).

Ils ont mis en place le plus grand et le plus varié référentiel de NER à ce jour (référentiel UniversalNER), qui comprend 43 ensembles de données provenant de 9 disciplines différentes, dont la médecine, la programmation, les médias sociaux, le droit et la finance. LLaMA et Alpaca obtiennent de mauvais résultats sur ce référentiel (environ 0 F1) pour la NER à zéro tir. Vicuna performe significativement mieux en comparaison, mais en termes de F1 moyen, il est encore en retard de plus de 20 points absolus par rapport à ChatGPT. En revanche, UniversalNER dépasse Vicuna de plus de 30 points absolus en termes de F1 moyen et atteint une précision NER de pointe pour des dizaines de milliers de types d’entités dans le référentiel UniversalNER. En plus de reproduire la capacité de ChatGPT à reconnaître n’importe quelle entité avec un petit nombre de paramètres (7-13 milliards), UniversalNER bat également sa précision NER de 7 à 9 points absolus en F1 moyen.

Fait surprenant, UniversalNER dépasse significativement les systèmes multi-tâches de pointe accordés aux instructions comme InstructUIE, qui utilise des instances NER supervisées. Ils effectuent également de nombreux tests d’ablation pour évaluer les effets des différents composants de distillation tels que les instructions et l’échantillonnage négatif. Ils fourniront leur recette de distillation, leurs données et le modèle UniversalNER et présenteront une démonstration interactive pour faciliter davantage l’étude de la distillation ciblée.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Rendre l'écran de votre téléphone flou pourrait arrêter l'espionnage

Un nouveau système peut flouter les écrans de smartphone pour empêcher l'espionnage.

AI

Comment les industries répondent aux attentes des consommateurs avec l'IA vocale

Grâce aux avancées technologiques rapides, les consommateurs sont devenus habitués à un niveau de commodité et d̵...

AI

Google présente NotebookLM votre assistant de recherche virtuel personnalisé

Google dévoile sa dernière offre expérimentale de Google Labs : NotebookLM, précédemment connu sous le nom de Projet ...

AI

Comprendre le concept de GPT-4V(ision) la nouvelle tendance de l'intelligence artificielle

“`html OpenAI est à la pointe des dernières avancées en matière d’intelligence artificielle, avec ses mod...