Les grands modèles de raisonnement ne sont (pas encore) des raisonneurs latents multilingues

Large Reasoning Models Are (Not Yet) Multilingual Latent Reasoners

January 6, 2026

papers.authors: Yihong Liu, Raoyuan Zhao, Hinrich Schütze, Michael A. Hedderich

cs.AI

papers.abstract

Les grands modèles de raisonnement (LRM) obtiennent des performances solides sur les tâches de raisonnement mathématique, souvent attribuées à leur capacité à générer des explications explicites de type chaîne de pensée (CoT). Cependant, des travaux récents montrent que les LRM parviennent souvent à la bonne réponse avant d'avoir terminé ces étapes de raisonnement textuelles, ce qui indique la présence d'un *raisonnement latent* – un calcul interne non verbal encodé dans les états cachés. Bien que ce phénomène ait été exploré en anglais, son comportement multilingue reste largement méconnu. Dans cet article, nous menons une investigation systématique du raisonnement latent multilingue dans les LRM à travers 11 langues. En utilisant une stratégie basée sur la troncation, nous examinons comment la bonne réponse émerge lorsque le modèle ne reçoit que des traces de raisonnement partielles, nous permettant de mesurer la formation pas-à-pas des prédictions latentes. Nos résultats révèlent des preuves claires de raisonnement latent multilingue, bien que de manière inégale : fort dans les langues riches en ressources, plus faible dans les langues à faibles ressources, et globalement moins observable sur des benchmarks plus difficiles. Pour comprendre si ces différences reflètent des mécanismes internes distincts, nous effectuons ensuite des analyses représentationnelles. Malgré des disparités superficielles, nous constatons que l'évolution interne des prédictions est très cohérente à travers les langues et s'aligne largement avec l'anglais – un schéma qui suggère l'existence d'une voie de raisonnement latent centrée sur l'anglais.

English

Large reasoning models (LRMs) achieve strong performance on mathematical reasoning tasks, often attributed to their capability to generate explicit chain-of-thought (CoT) explanations. However, recent work shows that LRMs often arrive at the correct answer before completing these textual reasoning steps, indicating the presence of latent reasoning -- internal, non-verbal computation encoded in hidden states. While this phenomenon has been explored in English, its multilingual behavior remains largely unknown. In this paper, we conduct a systematic investigation of multilingual latent reasoning in LRMs across 11 languages. Using a truncation-based strategy, we examine how the correct answer emerges as the model is given only partial reasoning traces, allowing us to measure stepwise latent prediction formation. Our results reveal clear evidence of multilingual latent reasoning, though unevenly: strong in resource-rich languages, weaker in low-resource ones, and broadly less observable on harder benchmarks. To understand whether these differences reflect distinct internal mechanisms, we further perform representational analyses. Despite surface-level disparities, we find that the internal evolution of predictions is highly consistent across languages and broadly aligns with English -- a pattern suggesting an English-centered latent reasoning pathway.