Les chercheurs du laboratoire XLang NLP proposent Lemur les modèles de langage pré-entraînés ouverts de pointe équilibrant les capacités de texte et de code.

Les chercheurs de XLang NLP proposent Lemur, des modèles de langage pré-entraînés équilibrant texte et code.

Dans un monde de plus en plus axé sur l’intersection entre le langage et la technologie, la demande de modèles linguistiques polyvalents et puissants n’a jamais été aussi grande. Les modèles linguistiques traditionnels de grande taille (LLM) excellent dans la compréhension textuelle ou les tâches de codage, mais parviennent rarement à trouver un équilibre harmonieux entre les deux. Ce déséquilibre a créé un vide sur le marché pour des modèles capables de naviguer sans effort entre le raisonnement textuel et la compétence en codage. C’est là qu’interviennent Lemur et Lemur-chat, deux contributions révolutionnaires au domaine des LLM pré-entraînés ou supervisés qui visent à combler cette lacune.

Créer des modèles linguistiques capables de gérer efficacement à la fois le texte et le code a été un défi de longue date. Les LLM existants ont généralement été spécialisés dans la compréhension textuelle ou les tâches de codage, mais rarement les deux. Cette spécialisation a laissé les développeurs et les chercheurs face au dilemme de choisir entre des modèles qui excellent dans un domaine tout en étant moins performants dans l’autre. Par conséquent, il est urgent de disposer de modèles LLM capables d’offrir un ensemble de compétences multidimensionnelles comprenant la compréhension, le raisonnement, la planification, le codage et l’ancrage contextuel.

Alors que certaines solutions existent sous la forme de LLM traditionnels, leurs limites sont évidentes. L’industrie manque de modèles capables de véritablement équilibrer les exigences complexes des tâches liées au texte et au code. Cela a créé un vide dans le paysage des agents de modèles linguistiques, où une approche intégrée de la compréhension, du raisonnement et du codage est essentielle.

• Adopter la diversité neuronale un bond en avant dans l’efficacité et les performances de l’IA
• Le premier AI visuel et linguistique à usage général LLaVA
• Nouvelle technique d’ingénierie de prompt ChatGPT simulation de programme

Le projet Lemur, dirigé par le XLang Lab en collaboration avec Salesforce Research, vise à combler cette lacune critique dans la technologie des modèles linguistiques. Lemur et Lemur-chat représentent un effort pionnier visant à développer des LLM pré-entraînés, ou supervisés, ouverts qui excellent à la fois dans les tâches textuelles et liées au code. Ce projet repose sur le pré-entraînement approfondi de Llama 2 sur un vaste corpus d’environ 100 milliards de lignes de données intensives en code. Cette phase de pré-entraînement est suivie d’un ajustement fin supervisé sur environ 300 000 instances de données d’instruction et de dialogue publics. Le résultat est un modèle linguistique doté de compétences améliorées en codage et en ancrage, tout en conservant des performances compétitives en matière de raisonnement textuel et de connaissances.

Les métriques de performance de Lemur et Lemur-chat témoignent de leur puissance. Lemur se distingue en surpassant les autres modèles linguistiques open-source sur les référentiels de codage, démontrant ainsi sa compétence en matière de codage. Dans le même temps, il maintient son avantage concurrentiel en matière de raisonnement textuel et de tâches basées sur les connaissances, mettant en valeur son ensemble de compétences polyvalent. Pendant ce temps, Lemur-chat surpasse nettement les autres modèles supervisés fine-tunés open-source sur différentes dimensions, ce qui indique ses capacités exceptionnelles à combler le fossé entre le texte et le code dans les contextes conversationnels.

Le projet Lemur est le fruit d’un effort de recherche collaboratif avec des contributions à la fois du XLang Lab et de Salesforce Research, avec le soutien de généreux dons de Salesforce Research, Google Research et Amazon AWS. Alors que le parcours vers un modèle linguistique open-source équilibré est en cours, les contributions de Lemur ont déjà commencé à remodeler le paysage de la technologie des modèles linguistiques. En offrant un modèle qui excelle à la fois dans les tâches liées au texte et au code, Lemur fournit un outil puissant pour les développeurs, les chercheurs et les organisations qui cherchent à naviguer dans l’intersection de plus en plus complexe entre le langage et la technologie.

En conclusion, le projet Lemur est un phare de l’innovation dans le monde des modèles linguistiques. Sa capacité à équilibrer harmonieusement les tâches liées au texte et au code a résolu un défi de longue date dans le domaine. Alors que Lemur continue d’évoluer et d’établir de nouveaux repères, il promet de stimuler davantage la recherche sur les modèles d’agents et d’établir une base plus puissante et équilibrée pour les modèles linguistiques open-source. Avec Lemur, l’avenir de la technologie des modèles linguistiques est plus prometteur et plus polyvalent que jamais.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!