Parallel Scaling Law: Aufdeckung von Verallgemeinerungsfähigkeiten im logischen Denken durch eine sprachübergreifende Perspektive

Parallel Scaling Law: Unveiling Reasoning Generalization through A Cross-Linguistic Perspective

October 2, 2025

papers.authors: Wen Yang, Junhong Wu, Chong Li, Chengqing Zong, Jiajun Zhang

cs.AI

papers.abstract

Jüngste Fortschritte im Bereich des Reinforcement Post-Trainings (RPT) haben die Fähigkeiten von Large Reasoning Models (LRMs) erheblich verbessert und das Interesse an der Generalisierung des RL-basierten Denkens verstärkt. Während sich bestehende Arbeiten hauptsächlich auf die Untersuchung der Generalisierung über Aufgaben oder Modalitäten konzentriert haben, schlägt diese Studie eine neuartige sprachübergreifende Perspektive vor, um die Generalisierung des Denkens zu untersuchen. Dies wirft eine entscheidende Frage auf: Überträgt sich die durch englischsprachiges RPT erreichte Denkfähigkeit effektiv auf andere Sprachen? Wir gehen dieser Frage nach, indem wir englischzentrierte LRMs systematisch auf mehrsprachigen Denkbenchmarks evaluieren und eine Metrik zur Quantifizierung der sprachübergreifenden Übertragbarkeit einführen. Unsere Ergebnisse zeigen, dass die sprachübergreifende Übertragbarkeit stark vom Ausgangsmodell, der Zielsprache und dem Trainingsparadigma abhängt. Durch Interventionsstudien stellen wir fest, dass Modelle mit stärkeren anfänglichen Englischfähigkeiten dazu neigen, sich übermäßig auf englischspezifische Muster zu verlassen, was zu einer verringerten sprachübergreifenden Generalisierung führt. Um dies zu adressieren, führen wir eine umfassende Parallel-Trainingsstudie durch. Die experimentellen Ergebnisse liefern drei zentrale Erkenntnisse: den First-Parallel Leap, einen erheblichen Leistungssprung beim Übergang von monolingualem zu nur einem parallelen Sprachtraining, und ein vorhersehbares Parallel Scaling Law, das zeigt, dass die sprachübergreifende Denkübertragung einem Potenzgesetz mit der Anzahl der trainierten parallelen Sprachen folgt. Darüber hinaus identifizieren wir die Diskrepanz zwischen der tatsächlichen monolingualen Leistung und der Potenzgesetz-Vorhersage als Monolingual Generalization Gap, was darauf hinweist, dass englischzentrierte LRMs nicht vollständig über Sprachen hinweg generalisieren. Unsere Studie stellt die Annahme in Frage, dass das Denken von LRMs der menschlichen Kognition entspricht, und liefert wichtige Erkenntnisse für die Entwicklung sprachunabhängigerer LRMs.

English

Recent advancements in Reinforcement Post-Training (RPT) have significantly enhanced the capabilities of Large Reasoning Models (LRMs), sparking increased interest in the generalization of RL-based reasoning. While existing work has primarily focused on investigating its generalization across tasks or modalities, this study proposes a novel cross-linguistic perspective to investigate reasoning generalization. This raises a crucial question: Does the reasoning capability achieved from English RPT effectively transfer to other languages? We address this by systematically evaluating English-centric LRMs on multilingual reasoning benchmarks and introducing a metric to quantify cross-lingual transferability. Our findings reveal that cross-lingual transferability varies significantly across initial model, target language, and training paradigm. Through interventional studies, we find that models with stronger initial English capabilities tend to over-rely on English-specific patterns, leading to diminished cross-lingual generalization. To address this, we conduct a thorough parallel training study. Experimental results yield three key findings: First-Parallel Leap, a substantial leap in performance when transitioning from monolingual to just a single parallel language, and a predictable Parallel Scaling Law, revealing that cross-lingual reasoning transfer follows a power-law with the number of training parallel languages. Moreover, we identify the discrepancy between actual monolingual performance and the power-law prediction as Monolingual Generalization Gap, indicating that English-centric LRMs fail to fully generalize across languages. Our study challenges the assumption that LRM reasoning mirrors human cognition, providing critical insights for the development of more language-agnostic LRMs.