Découvrez DISC-FinLLM un modèle de langage financier chinois (LLM) basé sur une fine-tuning de plusieurs experts.

Découvrez DISC-FinLLM un modèle de langage financier chinois (LLM) basé sur le savoir-faire de plusieurs experts.

La plus grande avancée dans le domaine de l’intelligence artificielle est l’introduction des Large Language Models (LLMs). Ces modèles basés sur le traitement automatique du langage naturel (NLP) traitent de grands ensembles de données complexes, ce qui les confronte à un défi unique dans l’industrie financière. Les domaines de la résumé de texte financier, de la prédiction des prix des actions, de la production de rapports financiers, de l’analyse des sentiments des actualités et de l’extraction des événements financiers ont tous connu des avancées grâce aux modèles NLP financiers traditionnels.

Avec l’augmentation du volume et de la complexité des données financières, les LLMs sont confrontés à plusieurs défis, notamment le manque de données étiquetées par des humains, le manque d’expertise spécifique à la finance, la difficulté de multitâche, les contraintes du calcul numérique et l’incapacité à gérer les informations en temps réel. Les LLMs tels que le GPT-4 sont réputés pour leurs solides capacités de dialogue, leur compréhension des commandes et leur capacité à suivre les instructions.

Cependant, dans des industries comme le marché financier chinois, les LLMs manquent d’une compréhension approfondie de l’industrie financière, ce qui rend le développement de LLMs financiers chinois open source adaptés à différents types d’utilisateurs et de situations important. Pour résoudre ce problème, une équipe de chercheurs a présenté DISC-FinLLM, une approche complète pour la création de LLMs financiers chinois.

• OpenAI annonce son tout dernier modèle GPT-4 Turbo
• Vers une IA générative pour l’architecture des modèles
• Les chercheurs d’Intel proposent une nouvelle approche d’intelligence artificielle pour déployer les LLM plus efficacement sur les CPUs.

L’objectif principal de cette méthode est de fournir aux LLMs la compétence leur permettant de générer et de comprendre du texte financier, de mener des conversations à plusieurs tours sur des questions financières et d’aider à la modélisation financière et aux systèmes améliorés par la connaissance grâce à une fonctionnalité de plugin. L’équipe a également développé un ensemble de données d’instructions supervisées appelé DISC-FIN-SFT. Les principales catégories de cet ensemble de données sont les suivantes.

1. Instructions de conseil financier : Ces instructions ont été élaborées à partir de forums financiers en ligne et de jeux de données de questions-réponses financières. Elles visent à répondre aux questions et à fournir des conseils sur les questions financières.

1. Instructions de tâches financières : Ces instructions sont destinées à faciliter diverses tâches financières. Elles sont tirées à la fois de jeux de données auto-construits et disponibles en NLP.

1. Instructions sur les calculs financiers : Les solutions aux problèmes statistiques, de calcul et de modélisation financière sont le sujet principal de ces instructions.

1. Instructions améliorées par la recherche : Ces instructions facilitent l’extraction de connaissances. Elles sont construites à partir de textes financiers et comprennent des questions créées, des références récupérées et des réponses générées.

L’équipe a partagé que l’ensemble de données d’instructions DISC-FIN-SFT est la base de la construction de DISC-FinLLM, qui a été créé à l’aide d’un cadre de perfectionnement à experts multiples (MEFF). Quatre modules distincts adaptés à bas rang (LoRA) ont été formés à l’aide de quatre segments de jeux de données différents. Les dialogues financiers en plusieurs tours, les tâches de NLP financières, les calculs financiers et les réponses aux questions de recherche font partie des scénarios financiers que ces modules sont conçus pour prendre en charge. Cela permet au système de proposer différents services à des groupes d’utilisateurs pertinents, tels que les étudiants, les développeurs et les professionnels de la finance. Dans cette version particulière, la base de DISC-FinLLM est Baichuan-13B, un LLM de domaine général pour la langue chinoise.

Les chercheurs ont réalisé plusieurs benchmarks d’évaluation pour évaluer DISC-FinLLM. Les résultats expérimentaux ont montré que DISC-FinLLM fonctionne mieux que le modèle de base dans toutes les tâches dérivées. Un examen plus approfondi révèle les avantages de l’architecture MEFF, qui permet au modèle de bien fonctionner dans divers scénarios et emplois financiers.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!