Les grands modèles de langage peuvent-ils vraiment faire des mathématiques ? Cette recherche sur l’intelligence artificielle présente MathGLM un modèle robuste pour résoudre des problèmes mathématiques sans calculatrice.

Les grands modèles de langage peuvent-ils vraiment faire des mathématiques ? MathGLM est un modèle robuste d'IA pour résoudre des problèmes mathématiques sans calculatrice.

Quand il s’agit de tâches de traitement du langage naturel (NLP) en aval, les grands modèles de langage (LLM) se sont révélés exceptionnellement efficaces. Pour générer des réponses cohérentes et contextuellement pertinentes, des modèles novateurs tels que GPT4 et ChatGPT ont été entraînés sur de vastes volumes de données textuelles. Leurs capacités de compréhension et de génération de texte les rendent extrêmement flexibles pour une large gamme d’applications NLP. On pense généralement que les LLM ont du mal à effectuer avec précision des opérations arithmétiques complexes, telles que la multiplication de nombres de plus de huit chiffres ou l’exécution d’opérations impliquant des décimales ou des fractions. Bien que GPT-4 ait montré des capacités exceptionnelles dans diverses tâches de NLP, il ne peut pas démontrer le même degré de compétence en matière de réflexion mathématique.

Des chercheurs de l’Université Tsinghua, du TAL AI Lab et de Zhipu.AI étudient les compétences mathématiques des LLM dans le but de dissiper ces fausses croyances. Leur travail récent suggère MathGLM, un modèle robuste soigneusement construit pour exécuter un large éventail d’opérations arithmétiques difficiles. Il atteint les meilleures performances comparables aux LLM de pointe de l’industrie comme GPT-4. L’addition, la soustraction, la multiplication, la division et l’exponentiation sont tous des exemples d’opérations arithmétiques, tout comme l’utilisation de parenthèses pour combiner plusieurs types d’arithmétique. Ils effectuent des procédures “d’opération atomique 1”, qui sont effectuées individuellement, sans être intégrées à d’autres procédures. Plus remarquablement, MathGLM peut facilement effectuer des opérations arithmétiques avec n’importe quel type de nombre, que ce soit des entiers, des décimales, des fractions, des pourcentages ou même des nombres négatifs.

Le jeu de données Ape210K collecte des problèmes mathématiques à partir de partout sur Internet et fournit une source complète de difficultés mathématiques. Ce jeu de données aide à entraîner MathGLM car il présente divers types de problèmes. Le jeu de données d’origine est unique en ce sens qu’il contient des réponses qui ont été calculées explicitement. Cependant, l’équipe souligne qu’une conséquence possible de l’approche sans fioritures de MathGLM pour présenter les réponses est qu’il peut ne pas reconnaître les principes de calcul sous-jacents importants et les modèles.

• A. Michael West Faire progresser les interactions homme-robot dans les soins de santé
• Aider les modèles de vision par ordinateur et de langage à comprendre ce qu’ils voient
• Les robots quadrupèdes à bas coût peuvent-ils maîtriser le Parkour ? Révélation d’un système d’apprentissage révolutionnaire pour le mouvement robotique agile

Les chercheurs utilisent l’approche étape par étape pour reconstruire le jeu de données Ape210K afin de surmonter cette éventuelle lacune et améliorer la capacité de MathGLM à résoudre les problèmes mathématiques. MathGLM peut créer des réponses à des problèmes mathématiques avec une grande précision en décomposant le processus de calcul arithmétique complexe en une série de phases séquentielles.

Ses essais approfondis et son analyse approfondie démontrent le raisonnement mathématique supérieur de MathGLM par rapport à GPT-4. MathGLM offre un gain absolu impressionnant de 42,29% en termes de précision des réponses par rapport au réglage fin sur le jeu de données d’origine. Les performances de MathGLM sur un jeu de données de 5 000 problèmes de mathématiques sont très proches de celles de GPT-4 après un réglage fin à partir du GLM-10B. En décomposant les problèmes mathématiques arithmétiques en étapes constitutives, MathGLM peut comprendre pleinement le processus de calcul complexe, apprendre les règles de calcul sous-jacentes et produire des résultats plus fiables.

Ces résultats remettent grandement en question la sagesse conventionnelle selon laquelle les LLM ne peuvent pas gérer des tâches arithmétiques difficiles, révélant ainsi leur capacité exceptionnelle à s’épanouir dans la réflexion mathématique.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!