Legge di Scalabilità Parallela: Svelare la Generalizzazione del Ragionamento attraverso una Prospettiva Cross-Linguistica

Parallel Scaling Law: Unveiling Reasoning Generalization through A Cross-Linguistic Perspective

October 2, 2025

Autori: Wen Yang, Junhong Wu, Chong Li, Chengqing Zong, Jiajun Zhang

cs.AI

Abstract

I recenti progressi nel Post-Addestramento con Rinforzo (RPT) hanno significativamente migliorato le capacità dei Modelli di Ragionamento su Grande Scala (LRMs), suscitando un crescente interesse nella generalizzazione del ragionamento basato su RL. Mentre il lavoro esistente si è principalmente concentrato sull'indagine della sua generalizzazione attraverso compiti o modalità, questo studio propone una prospettiva cross-linguistica innovativa per esplorare la generalizzazione del ragionamento. Ciò solleva una domanda cruciale: la capacità di ragionamento ottenuta dall'RPT in inglese si trasferisce efficacemente ad altre lingue? Affrontiamo questa questione valutando sistematicamente gli LRM centrati sull'inglese su benchmark di ragionamento multilingue e introducendo una metrica per quantificare la trasferibilità cross-linguistica. I nostri risultati rivelano che la trasferibilità cross-linguistica varia significativamente in base al modello iniziale, alla lingua target e al paradigma di addestramento. Attraverso studi interventistici, scopriamo che i modelli con capacità iniziali più forti in inglese tendono a fare eccessivo affidamento su modelli specifici dell'inglese, portando a una generalizzazione cross-linguistica ridotta. Per affrontare questo problema, conduciamo uno studio approfondito sull'addestramento parallelo. I risultati sperimentali producono tre scoperte chiave: il Primo Balzo Parallelo, un salto significativo nelle prestazioni quando si passa da una lingua monolingue a una sola lingua parallela, e una Legge di Scalabilità Parallela prevedibile, che rivela che il trasferimento del ragionamento cross-linguistico segue una legge di potenza con il numero di lingue parallele di addestramento. Inoltre, identifichiamo la discrepanza tra le prestazioni monolingue effettive e la previsione della legge di potenza come Divario di Generalizzazione Monolingue, indicando che gli LRM centrati sull'inglese non riescono a generalizzare completamente attraverso le lingue. Il nostro studio mette in discussione l'assunzione che il ragionamento degli LRM rispecchi la cognizione umana, fornendo intuizioni critiche per lo sviluppo di LRM più agnostici rispetto alla lingua.

English

Recent advancements in Reinforcement Post-Training (RPT) have significantly enhanced the capabilities of Large Reasoning Models (LRMs), sparking increased interest in the generalization of RL-based reasoning. While existing work has primarily focused on investigating its generalization across tasks or modalities, this study proposes a novel cross-linguistic perspective to investigate reasoning generalization. This raises a crucial question: Does the reasoning capability achieved from English RPT effectively transfer to other languages? We address this by systematically evaluating English-centric LRMs on multilingual reasoning benchmarks and introducing a metric to quantify cross-lingual transferability. Our findings reveal that cross-lingual transferability varies significantly across initial model, target language, and training paradigm. Through interventional studies, we find that models with stronger initial English capabilities tend to over-rely on English-specific patterns, leading to diminished cross-lingual generalization. To address this, we conduct a thorough parallel training study. Experimental results yield three key findings: First-Parallel Leap, a substantial leap in performance when transitioning from monolingual to just a single parallel language, and a predictable Parallel Scaling Law, revealing that cross-lingual reasoning transfer follows a power-law with the number of training parallel languages. Moreover, we identify the discrepancy between actual monolingual performance and the power-law prediction as Monolingual Generalization Gap, indicating that English-centric LRMs fail to fully generalize across languages. Our study challenges the assumption that LRM reasoning mirrors human cognition, providing critical insights for the development of more language-agnostic LRMs.