mSCoRe: Ein multilingualer und skalierbarer Benchmark für fähigkeitsbasiertes Commonsense Reasoning

mSCoRe: a Multilingual and Scalable Benchmark for Skill-based Commonsense Reasoning

August 13, 2025

papers.authors: Nghia Trung Ngo, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

papers.abstract

Jüngste Fortschritte bei Large Language Models (LLMs), die mit verstärkten Fähigkeiten zur logischen Schlussfolgerung ausgestattet sind, haben bemerkenswerte Leistungen bei komplexen Denkaufgaben gezeigt. Der Mechanismus, der ihrer Nutzung verschiedener menschlicher Denkfähigkeiten zugrunde liegt, bleibt jedoch weitgehend unerforscht, insbesondere im Bereich des mehrsprachigen Commonsense-Reasonings, das alltägliches Wissen über verschiedene Sprachen und Kulturen hinweg umfasst. Um diese Lücke zu schließen, schlagen wir einen mehrsprachigen und skalierbaren Benchmark für fähigkeitsbasiertes Commonsense-Reasoning (mSCoRe) vor. Unser Benchmark umfasst drei Schlüsselkomponenten, die darauf ausgelegt sind, die Fähigkeiten von LLMs zur logischen Schlussfolgerung systematisch zu bewerten: (1) eine neuartige Taxonomie von Denkfähigkeiten, die eine detaillierte Analyse der Denkprozesse von Modellen ermöglicht, (2) eine robuste Daten-Synthese-Pipeline, die speziell für die Bewertung von Commonsense-Reasoning entwickelt wurde, und (3) ein Komplexitätsskalierungs-Framework, das es ermöglicht, die Schwierigkeit von Aufgaben dynamisch an zukünftige Verbesserungen der Fähigkeiten von LLMs anzupassen. Umfangreiche Experimente mit acht modernsten LLMs unterschiedlicher Größe und Trainingsansätze zeigen, dass mSCoRe für aktuelle Modelle nach wie vor eine erhebliche Herausforderung darstellt, insbesondere auf höheren Komplexitätsstufen. Unsere Ergebnisse offenbaren die Grenzen solcher Modelle mit verstärkten Denkfähigkeiten, wenn sie mit nuanziertem mehrsprachigem allgemeinem und kulturellem Commonsense konfrontiert werden. Wir liefern zudem eine detaillierte Analyse der Denkprozesse der Modelle und geben Hinweise auf zukünftige Richtungen zur Verbesserung der mehrsprachigen Commonsense-Reasoning-Fähigkeiten.

English

Recent advancements in reasoning-reinforced Large Language Models (LLMs) have shown remarkable capabilities in complex reasoning tasks. However, the mechanism underlying their utilization of different human reasoning skills remains poorly investigated, especially for multilingual commonsense reasoning that involves everyday knowledge across different languages and cultures. To address this gap, we propose a Multilingual and Scalable Benchmark for Skill-based Commonsense Reasoning (mSCoRe). Our benchmark incorporates three key components that are designed to systematically evaluate LLM's reasoning capabilities, including: (1) a novel taxonomy of reasoning skills that enables fine-grained analysis of models' reasoning processes, (2) a robust data synthesis pipeline tailored specifically for commonsense reasoning evaluation, and (3) a complexity scaling framework allowing task difficulty to scale dynamically alongside future improvements in LLM abilities. Extensive experiments on eights state-of-the-art LLMs of varying sizes and training approaches demonstrate that mSCoRe remains significantly challenging for current models, particularly at higher complexity levels. Our results reveal the limitations of such reasoning-reinforced models when confronted with nuanced multilingual general and cultural commonsense. We further provide detailed analysis on the models' reasoning processes, suggesting future directions for improving multilingual commonsense reasoning capabilities.