Des chercheurs de l’Université de Pékin présentent ChatLaw un modèle de langage juridique à grande échelle en open-source avec des bases de connaissances externes intégrées.

Des chercheurs de l'Université de Pékin ont développé ChatLaw, un modèle de langage juridique open-source à grande échelle, intégrant des bases de connaissances externes.

Grâce à la croissance et au développement continus de l’intelligence artificielle, les modèles de langage à grande échelle sont désormais largement disponibles. Des modèles tels que ChatGPT, GPT4, LLaMA, Falcon, Vicuna et ChatGLM ont montré des performances exceptionnelles dans diverses tâches traditionnelles, ouvrant ainsi un monde d’opportunités pour la profession juridique. Cependant, il est essentiel de rassembler des données fiables, actuelles et de haute qualité pour créer des modèles de langage conséquents. Par conséquent, la création de modèles de langage juridique open source à la fois efficaces et efficients est devenue cruciale.

Le développement de modèles à grande échelle en intelligence artificielle a eu un impact sur plusieurs industries, notamment la santé, l’éducation et la finance : BloombergGPT, FinGPT, Huatuo et ChatMed ; ces modèles se sont révélés utiles et efficaces pour résoudre des problèmes complexes et produire des données pertinentes. En revanche, le domaine du droit nécessite une enquête approfondie et la création d’un modèle juridique unique en raison de sa pertinence intrinsèque et de son besoin de précision. Le droit est essentiel pour former des communautés, réglementer les relations interpersonnelles et garantir la justice. Les praticiens du droit s’appuient sur des informations précises et à jour pour prendre des décisions éclairées, comprendre la loi et fournir des conseils juridiques.

Les subtilités de la terminologie juridique, les interprétations complexes et la nature dynamique du droit posent des problèmes particuliers qui nécessitent des solutions spécialisées. Même avec le modèle le plus avancé, tel que GPT4, il y a souvent un phénomène d’hallucination et des résultats incroyables en ce qui concerne les difficultés juridiques. On pense souvent qu’améliorer un modèle avec une expertise pertinente dans le domaine donnerait des résultats positifs. Cependant, le premier LLM juridique (LawGPT) présentait encore de nombreuses hallucinations et des résultats inexacts, donc ce n’est pas le cas. Au début, ils ont compris la demande pour un LLM juridique chinois. Cependant, il n’y avait pas de modèles chinois commercialement accessibles à l’époque qui étaient plus grands que 13 milliards de paramètres. En combinant les données d’entraînement provenant de sources telles que MOSS et en augmentant le lexique chinois, ils ont amélioré la base de OpenLLAMA, un modèle économiquement viable. Cela a permis aux chercheurs de l’Université de Pékin de construire un modèle fondamental de la langue chinoise auquel ils ont ensuite ajouté des données spécifiques au droit pour former ChatLaw, leur modèle juridique.

• Débloquer l’opportunité propulsée par l’IA au Royaume-Uni
• 5 Langues les mieux rémunérées à apprendre cette année
• Guide du débutant pour construire vos propres modèles de langage de grande taille à partir de zéro

Les principales contributions de l’article sont les suivantes :

1. Une méthode réussie pour réduire les hallucinations : ils présentent une méthode pour réduire les hallucinations en améliorant la procédure d’entraînement du modèle et en incluant quatre modules lors de l’inférence : “consultation”, “référence”, “auto-suggestion” et “réponse”. Les hallucinations sont moins fréquentes car les modèles verticaux et les bases de connaissances sont intégrés via le module de référence, qui intègre des connaissances spécifiques au domaine dans le modèle et utilise des données fiables provenant de la base de connaissances.

2. Un modèle qui extrait les mots caractéristiques juridiques du langage quotidien des utilisateurs a été entraîné. Il est basé sur le LLM. Avec l’aide de ce modèle, qui reconnaît les termes ayant une signification juridique, les situations juridiques à l’intérieur de l’entrée de l’utilisateur peuvent être rapidement et efficacement identifiées et analysées.

3. Un modèle qui mesure la similarité entre le langage ordinaire des utilisateurs et un ensemble de données de 930 000 textes de jurisprudence pertinents est entraîné à l’aide de BERT. Cela permet de construire une base de données vectorielle pour récupérer rapidement des écrits ayant un contexte juridique similaire, permettant ainsi des recherches supplémentaires et des citations.

4. Développement d’un ensemble de données d’évaluation des examens juridiques chinois : ils créent un ensemble de données pour évaluer l’expertise juridique des locuteurs chinois. Ils mettent également en place un système de notation ELO pour déterminer la performance des différents modèles dans les tests de choix multiples en droit.

Ils ont également noté qu’un seul LLM juridique polyvalent ne pourrait bien fonctionner que dans ce domaine pour certains emplois. Par conséquent, ils ont développé plusieurs modèles pour différentes situations, notamment les questions à choix multiples, l’extraction de mots-clés et les réponses aux questions. En utilisant la technique HuggingGPT, ils ont utilisé un grand LLM en tant que contrôleur pour gérer la sélection et le déploiement de ces modèles. En fonction de la demande de chaque utilisateur, ce modèle contrôleur choisit dynamiquement le modèle spécifique à activer, garantissant ainsi l’utilisation du meilleur modèle pour la tâche.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!