mSCoRe : un benchmark multilingue et évolutif pour le raisonnement de bon sens basé sur les compétences

mSCoRe: a Multilingual and Scalable Benchmark for Skill-based Commonsense Reasoning

August 13, 2025

papers.authors: Nghia Trung Ngo, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

papers.abstract

Les avancées récentes dans les modèles de langage de grande taille (LLMs) renforcés par le raisonnement ont démontré des capacités remarquables dans des tâches de raisonnement complexe. Cependant, le mécanisme sous-jacent à leur utilisation de différentes compétences de raisonnement humain reste peu exploré, en particulier pour le raisonnement de bon sens multilingue qui implique des connaissances quotidiennes à travers différentes langues et cultures. Pour combler cette lacune, nous proposons un benchmark multilingue et évolutif pour l'évaluation des compétences de raisonnement de bon sens (mSCoRe). Notre benchmark intègre trois composants clés conçus pour évaluer systématiquement les capacités de raisonnement des LLMs, incluant : (1) une taxonomie novatrice des compétences de raisonnement permettant une analyse fine des processus de raisonnement des modèles, (2) un pipeline robuste de synthèse de données spécifiquement adapté à l'évaluation du raisonnement de bon sens, et (3) un cadre de complexité évolutive permettant à la difficulté des tâches de s'adapter dynamiquement aux futures améliorations des capacités des LLMs. Des expériences approfondies sur huit LLMs de pointe de tailles et d'approches d'entraînement variées montrent que mSCoRe reste un défi significatif pour les modèles actuels, en particulier aux niveaux de complexité élevés. Nos résultats révèlent les limites de ces modèles renforcés par le raisonnement lorsqu'ils sont confrontés à des nuances de bon sens général et culturel multilingue. Nous fournissons également une analyse détaillée des processus de raisonnement des modèles, suggérant des orientations futures pour améliorer les capacités de raisonnement de bon sens multilingue.

English

Recent advancements in reasoning-reinforced Large Language Models (LLMs) have shown remarkable capabilities in complex reasoning tasks. However, the mechanism underlying their utilization of different human reasoning skills remains poorly investigated, especially for multilingual commonsense reasoning that involves everyday knowledge across different languages and cultures. To address this gap, we propose a Multilingual and Scalable Benchmark for Skill-based Commonsense Reasoning (mSCoRe). Our benchmark incorporates three key components that are designed to systematically evaluate LLM's reasoning capabilities, including: (1) a novel taxonomy of reasoning skills that enables fine-grained analysis of models' reasoning processes, (2) a robust data synthesis pipeline tailored specifically for commonsense reasoning evaluation, and (3) a complexity scaling framework allowing task difficulty to scale dynamically alongside future improvements in LLM abilities. Extensive experiments on eights state-of-the-art LLMs of varying sizes and training approaches demonstrate that mSCoRe remains significantly challenging for current models, particularly at higher complexity levels. Our results reveal the limitations of such reasoning-reinforced models when confronted with nuanced multilingual general and cultural commonsense. We further provide detailed analysis on the models' reasoning processes, suggesting future directions for improving multilingual commonsense reasoning capabilities.