Grandes Modelos de Raciocínio (Ainda Não São) Raciocinadores Latentes Multilíngues

Large Reasoning Models Are (Not Yet) Multilingual Latent Reasoners

January 6, 2026

Autores: Yihong Liu, Raoyuan Zhao, Hinrich Schütze, Michael A. Hedderich

cs.AI

Resumo

Os grandes modelos de raciocínio (LRMs) alcançam um desempenho forte em tarefas de raciocínio matemático, frequentemente atribuído à sua capacidade de gerar explicações explícitas de cadeia de pensamento (CoT). No entanto, trabalhos recentes mostram que os LRMs frequentemente chegam à resposta correta antes de completar essas etapas de raciocínio textual, indicando a presença de *raciocínio latente* – uma computação interna e não verbal codificada nos estados ocultos. Embora esse fenômeno tenha sido explorado em inglês, o seu comportamento multilingue permanece amplamente desconhecido. Neste artigo, conduzimos uma investigação sistemática do raciocínio latente multilingue em LRMs em 11 idiomas. Utilizando uma estratégia baseada em truncagem, examinamos como a resposta correta emerge quando o modelo recebe apenas traços parciais de raciocínio, permitindo-nos medir a formação de previsões latentes passo a passo. Os nossos resultados revelam evidências claras de raciocínio latente multilingue, embora de forma desigual: forte em idiomas com muitos recursos, mais fraco em idiomas com poucos recursos e geralmente menos observável em *benchmarks* mais difíceis. Para compreender se estas diferenças refletem mecanismos internos distintos, realizamos ainda análises representacionais. Apesar das disparidades superficiais, descobrimos que a evolução interna das previsões é altamente consistente entre os idiomas e alinha-se amplamente com o inglês – um padrão que sugere um caminho de raciocínio latente centrado no inglês.

English

Large reasoning models (LRMs) achieve strong performance on mathematical reasoning tasks, often attributed to their capability to generate explicit chain-of-thought (CoT) explanations. However, recent work shows that LRMs often arrive at the correct answer before completing these textual reasoning steps, indicating the presence of latent reasoning -- internal, non-verbal computation encoded in hidden states. While this phenomenon has been explored in English, its multilingual behavior remains largely unknown. In this paper, we conduct a systematic investigation of multilingual latent reasoning in LRMs across 11 languages. Using a truncation-based strategy, we examine how the correct answer emerges as the model is given only partial reasoning traces, allowing us to measure stepwise latent prediction formation. Our results reveal clear evidence of multilingual latent reasoning, though unevenly: strong in resource-rich languages, weaker in low-resource ones, and broadly less observable on harder benchmarks. To understand whether these differences reflect distinct internal mechanisms, we further perform representational analyses. Despite surface-level disparities, we find that the internal evolution of predictions is highly consistent across languages and broadly aligns with English -- a pattern suggesting an English-centered latent reasoning pathway.