대규모 추론 모델은 (아직) 다국어 잠재 추론 모델이 아니다

초록

대규모 추론 모델(LRM)은 명시적인 사고 연쇄(CoT) 설명을 생성할 수 있는 능력 덕분에 수학적 추론 과제에서 높은 성능을 보이는 경우가 많습니다. 그러나 최근 연구에 따르면 LRM은 이러한 텍스트 기반 추론 단계를 완료하기 전에 종종 정답에 도달하는데, 이는 잠재적 추론(latent reasoning) 즉, 은닉 상태에 인코딩된 내부적·비언어적 계산 과정이 존재함을 시사합니다. 이러한 현상은 영어를 중심으로 연구되어 왔으나, 다국어 관점에서의 특성은 여전히 거의 알려져 있지 않습니다. 본 논문에서는 11개 언어에 걸쳐 LRM의 다국어 잠재적 추론 현상을 체계적으로 조사합니다. 절단(truncation) 기반 전략을 활용하여 모델이 부분적인 추론 흔적만을 제공받았을 때 정답이 어떻게 나타나는지 관찰함으로써, 단계별 잠재적 예측 형성 과정을 측정합니다. 연구 결과 다국어 잠재적 추론의 명확한 증거가 확인되었으나, 그 양상은 불균일했습니다. 즉, 자원이 풍부한 언어에서는 강하게 나타난 반면 저자원 언어에서는 약했고, 전반적으로 더 어려운 벤치마크에서는 덜 관찰되었습니다. 이러한 차이가 서로 다른 내부 메커니즘을 반영하는지 이해하기 위해 추가적으로 표현 분석(representational analysis)을 수행했습니다. 표면적인 차이에도 불구하고, 예측의 내부적 진화 과정은 언어 간에 매우 일관적이며 영어와 넓게 일치하는 양상을 보였습니다. 이는 영어 중심의 잠재적 추론 경로가 존재함을 시사하는 패턴입니다.

English

Large reasoning models (LRMs) achieve strong performance on mathematical reasoning tasks, often attributed to their capability to generate explicit chain-of-thought (CoT) explanations. However, recent work shows that LRMs often arrive at the correct answer before completing these textual reasoning steps, indicating the presence of latent reasoning -- internal, non-verbal computation encoded in hidden states. While this phenomenon has been explored in English, its multilingual behavior remains largely unknown. In this paper, we conduct a systematic investigation of multilingual latent reasoning in LRMs across 11 languages. Using a truncation-based strategy, we examine how the correct answer emerges as the model is given only partial reasoning traces, allowing us to measure stepwise latent prediction formation. Our results reveal clear evidence of multilingual latent reasoning, though unevenly: strong in resource-rich languages, weaker in low-resource ones, and broadly less observable on harder benchmarks. To understand whether these differences reflect distinct internal mechanisms, we further perform representational analyses. Despite surface-level disparities, we find that the internal evolution of predictions is highly consistent across languages and broadly aligns with English -- a pattern suggesting an English-centered latent reasoning pathway.

대규모 추론 모델은 (아직) 다국어 잠재 추론 모델이 아니다

Large Reasoning Models Are (Not Yet) Multilingual Latent Reasoners

초록

Support