Cet article sur l’IA présente le score de raisonnement impacté par la complexité (CIRS) évaluation du rôle de la complexité du code dans l’amélioration des capacités de raisonnement des grands modèles de langage.

Cet article présente le CIRS, une évaluation de l'impact de la complexité du code sur les capacités de raisonnement des modèles de langage.

Les modèles de langage volumineux (LLM) sont devenus une approche polyvalente pour résoudre les problèmes d’intelligence artificielle incarnée. Lorsque les agents ont besoin de comprendre les nuances sémantiques de leur environnement pour un contrôle efficace, les compétences de raisonnement des LLM sont cruciales en intelligence artificielle incarnée. Les méthodes récentes, qu’ils appellent “programmes de pensée”, utilisent des langages de programmation comme système de sollicitation amélioré pour des tâches de raisonnement difficiles. La sollicitation par programme de pensée sépare les problèmes en segments de code exécutable et les traite un par un, contrairement à la sollicitation par chaîne de pensée. Cependant, la relation entre l’utilisation des langages de programmation et le développement des compétences de réflexion des LLM nécessite encore des recherches approfondies. Quand le programme de pensée suggéré fonctionne-t-il pour le raisonnement2 reste la question cruciale ?

Le score de raisonnement impacté par la complexité (CIRS), une mesure approfondie du lien entre les étapes de raisonnement du code et leurs effets sur les capacités de raisonnement des LLM, est proposé dans cet article. Ils soutiennent que les langages de programmation sont intrinsèquement supérieurs à la langue naturelle sérialisée en raison de (1) leur meilleure modélisation des structures complexes, et (2) leur logique procédurale innée qui facilite la résolution de difficultés impliquant plusieurs étapes de réflexion. Pour cette raison, leur mesure suggérée évalue la complexité du code à la fois d’un point de vue structurel et logique. En particulier, ils calculent la complexité structurelle des étapes de raisonnement du code (rationnelles) à l’aide d’un arbre de syntaxe abstraite (AST). Leur méthode utilise trois indicateurs AST (nombre de nœuds, type de nœud et profondeur) pour conserver toutes les informations structurelles de l’AST représenté sous forme d’arbre, ce qui permet de comprendre parfaitement les structures du code.

Des chercheurs de l’Université de Zhejiang, du Laboratoire Donghai et de l’Université nationale de Singapour ont développé une méthode permettant de déterminer la complexité logique en combinant la difficulté de codage avec la complexité cyclomatique, s’inspirant de l’idée de Halsted et McCabe. Ainsi, il est possible de prendre en compte les opérateurs, les opérandes et le flux de contrôle du code. Ils peuvent calculer explicitement la complexité de la logique dans le code. Ils découvrent grâce à une enquête empirique utilisant leur CIRS suggéré que les LLM actuels ont une compréhension limitée des informations symboliques telles que le code et que toutes les données de code sophistiquées ne peuvent pas être enseignées et comprises par les LLM. Les blocs de code à faible complexité manquent des informations nécessaires, mais les blocs de code à haute complexité peuvent être trop difficiles à comprendre pour les LLM. Pour améliorer efficacement les capacités de raisonnement des LLM, seules les données de code présentant une quantité appropriée de complexité (structure et logique), à la fois de base et détaillée, sont nécessaires.

• Des chercheurs de l’Université de Yokohama proposent VirSen1.0 un environnement virtuel permettant de rationaliser le développement de systèmes de reconnaissance des gestes humains basés sur des capteurs.
• Un algorithme d’apprentissage inspiré du cerveau permet la métaplasticité dans les réseaux neuronaux artificiels et à impulsions.
• Les deux nouvelles entreprises de Meta AI pour l’équité en vision par ordinateur introduction de la licence pour DINOv2 et publication de FACET.

Ils proposent une méthode pour synthétiser automatiquement et stratifier les données pouvant produire et exclure les données ayant la plus grande capacité de raisonnement. Ils utilisent leur approche dans deux situations différentes : (1) diriger la création d’instructions pour des activités nécessitant une réflexion mathématique, et (2) filtrer les données de code pour des activités impliquant la création de code. Leur stratégie suggérée surpasse les modèles de référence en matière de raisonnement mathématique et montre des succès dans les défis de création de code.

Leurs contributions à cette publication sont les suivantes :

• Ils suggèrent CIRS, une approche unique pour mesurer la difficulté de raisonnement des données de code. Leur méthode, qui analyse les données de code sous des angles logiques et structurels, peut mesurer précisément la relation entre la complexité du code et la capacité de raisonnement.

• Ils mènent une analyse empirique des effets de différents niveaux de complexité, déterminant le degré idéal de langages de code que les LLM peuvent apprendre en tant que déterminant clé des compétences de raisonnement par sollicitation de programme de pensée.

• Ils créent un algorithme d’auto-synthèse et de stratification et utilisent leur méthode pour filtrer les données de code et créer des instructions pour des emplois nécessitant une réflexion mathématique. De nombreuses découvertes soutiennent la viabilité de leur point de vue suggéré.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!