Loi d'échelle parallèle : Révéler la généralisation du raisonnement à travers une perspective translinguistique
Parallel Scaling Law: Unveiling Reasoning Generalization through A Cross-Linguistic Perspective
October 2, 2025
papers.authors: Wen Yang, Junhong Wu, Chong Li, Chengqing Zong, Jiajun Zhang
cs.AI
papers.abstract
Les récents progrès dans le Post-Entraînement par Renforcement (RPT) ont considérablement amélioré les capacités des Modèles de Raisonnement à Grande Échelle (LRMs), suscitant un intérêt accru pour la généralisation du raisonnement basé sur l'apprentissage par renforcement (RL). Alors que les travaux existants se sont principalement concentrés sur l'étude de sa généralisation à travers les tâches ou les modalités, cette étude propose une perspective novatrice interlinguistique pour explorer la généralisation du raisonnement. Cela soulève une question cruciale : la capacité de raisonnement acquise grâce au RPT en anglais se transfère-t-elle efficacement à d'autres langues ? Nous abordons cette question en évaluant systématiquement les LRMs centrés sur l'anglais sur des benchmarks de raisonnement multilingues et en introduisant une métrique pour quantifier la transférabilité interlinguistique. Nos résultats révèlent que cette transférabilité varie considérablement selon le modèle initial, la langue cible et le paradigme d'entraînement. À travers des études d'intervention, nous constatons que les modèles dotés de capacités initiales plus fortes en anglais ont tendance à trop s'appuyer sur des motifs spécifiques à l'anglais, ce qui réduit leur généralisation interlinguistique. Pour remédier à cela, nous menons une étude approfondie sur l'entraînement parallèle. Les résultats expérimentaux mettent en évidence trois conclusions clés : le Premier Saut Parallèle, une amélioration significative des performances lors du passage d'un entraînement monolingue à un seul langage parallèle, et une Loi d'Échelle Parallèle prévisible, révélant que le transfert de raisonnement interlinguistique suit une loi de puissance en fonction du nombre de langues parallèles utilisées pour l'entraînement. De plus, nous identifions l'écart entre les performances monolingues réelles et la prédiction de la loi de puissance comme l'Écart de Généralisation Monolingue, indiquant que les LRMs centrés sur l'anglais ne parviennent pas à généraliser pleinement à travers les langues. Notre étude remet en question l'hypothèse selon laquelle le raisonnement des LRMs reflète la cognition humaine, offrant des insights critiques pour le développement de LRMs plus agnostiques vis-à-vis des langues.
English
Recent advancements in Reinforcement Post-Training (RPT) have significantly
enhanced the capabilities of Large Reasoning Models (LRMs), sparking increased
interest in the generalization of RL-based reasoning. While existing work has
primarily focused on investigating its generalization across tasks or
modalities, this study proposes a novel cross-linguistic perspective to
investigate reasoning generalization. This raises a crucial question:
Does the reasoning capability achieved from English RPT effectively
transfer to other languages? We address this by systematically evaluating
English-centric LRMs on multilingual reasoning benchmarks and introducing a
metric to quantify cross-lingual transferability. Our findings reveal that
cross-lingual transferability varies significantly across initial model, target
language, and training paradigm. Through interventional studies, we find that
models with stronger initial English capabilities tend to over-rely on
English-specific patterns, leading to diminished cross-lingual generalization.
To address this, we conduct a thorough parallel training study. Experimental
results yield three key findings: First-Parallel Leap, a substantial
leap in performance when transitioning from monolingual to just a single
parallel language, and a predictable Parallel Scaling Law, revealing
that cross-lingual reasoning transfer follows a power-law with the number of
training parallel languages. Moreover, we identify the discrepancy between
actual monolingual performance and the power-law prediction as
Monolingual Generalization Gap, indicating that English-centric LRMs
fail to fully generalize across languages. Our study challenges the assumption
that LRM reasoning mirrors human cognition, providing critical insights for the
development of more language-agnostic LRMs.