mSCoRe: un punto de referencia multilingüe y escalable para el razonamiento de sentido común basado en habilidades

mSCoRe: a Multilingual and Scalable Benchmark for Skill-based Commonsense Reasoning

August 13, 2025

Autores: Nghia Trung Ngo, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

Resumen

Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) reforzados con razonamiento han demostrado capacidades notables en tareas de razonamiento complejo. Sin embargo, el mecanismo subyacente a su utilización de diferentes habilidades de razonamiento humano sigue siendo poco investigado, especialmente en el caso del razonamiento de sentido común multilingüe que involucra conocimientos cotidianos en diferentes idiomas y culturas. Para abordar esta brecha, proponemos un punto de referencia multilingüe y escalable para el razonamiento de sentido común basado en habilidades (mSCoRe). Nuestro punto de referencia incorpora tres componentes clave diseñados para evaluar sistemáticamente las capacidades de razonamiento de los LLMs, incluyendo: (1) una taxonomía novedosa de habilidades de razonamiento que permite un análisis detallado de los procesos de razonamiento de los modelos, (2) una robusta pipeline de síntesis de datos específicamente adaptada para la evaluación del razonamiento de sentido común, y (3) un marco de escalado de complejidad que permite que la dificultad de las tareas se ajuste dinámicamente junto con las futuras mejoras en las capacidades de los LLMs. Experimentos extensos en ocho LLMs de última generación de diversos tamaños y enfoques de entrenamiento demuestran que mSCoRe sigue siendo significativamente desafiante para los modelos actuales, particularmente en niveles de complejidad más altos. Nuestros resultados revelan las limitaciones de estos modelos reforzados con razonamiento cuando se enfrentan a matices de sentido común general y cultural multilingüe. Además, proporcionamos un análisis detallado de los procesos de razonamiento de los modelos, sugiriendo direcciones futuras para mejorar las capacidades de razonamiento de sentido común multilingüe.

English

Recent advancements in reasoning-reinforced Large Language Models (LLMs) have shown remarkable capabilities in complex reasoning tasks. However, the mechanism underlying their utilization of different human reasoning skills remains poorly investigated, especially for multilingual commonsense reasoning that involves everyday knowledge across different languages and cultures. To address this gap, we propose a Multilingual and Scalable Benchmark for Skill-based Commonsense Reasoning (mSCoRe). Our benchmark incorporates three key components that are designed to systematically evaluate LLM's reasoning capabilities, including: (1) a novel taxonomy of reasoning skills that enables fine-grained analysis of models' reasoning processes, (2) a robust data synthesis pipeline tailored specifically for commonsense reasoning evaluation, and (3) a complexity scaling framework allowing task difficulty to scale dynamically alongside future improvements in LLM abilities. Extensive experiments on eights state-of-the-art LLMs of varying sizes and training approaches demonstrate that mSCoRe remains significantly challenging for current models, particularly at higher complexity levels. Our results reveal the limitations of such reasoning-reinforced models when confronted with nuanced multilingual general and cultural commonsense. We further provide detailed analysis on the models' reasoning processes, suggesting future directions for improving multilingual commonsense reasoning capabilities.