Wanneer modellen redeneren in jouw taal: Het beheersen van de taal van denksporen gaat ten koste van nauwkeurigheid
When Models Reason in Your Language: Controlling Thinking Trace Language Comes at the Cost of Accuracy
May 28, 2025
Auteurs: Jirui Qi, Shan Chen, Zidi Xiong, Raquel Fernández, Danielle S. Bitterman, Arianna Bisazza
cs.AI
Samenvatting
Recente Large Reasoning Models (LRMs) met denksporen hebben sterke prestaties getoond op Engelse redeneertaken. Hun vermogen om in andere talen te denken is echter minder bestudeerd. Deze capaciteit is net zo belangrijk als antwoordnauwkeurigheid voor praktische toepassingen, omdat gebruikers het redeneerspoor mogelijk alleen nuttig vinden voor toezicht wanneer het in hun eigen taal wordt uitgedrukt. We evalueren twee toonaangevende families van LRMs uitgebreid op ons XReasoning-benchmark en ontdekken dat zelfs de meest geavanceerde modellen vaak terugvallen op Engels of gefragmenteerd redeneren in andere talen produceren, wat een aanzienlijke kloof in meertalig redeneren blootlegt. Prompt-gebaseerde interventies die modellen dwingen om in de taal van de gebruiker te redeneren, verbeteren de leesbaarheid en het toezicht, maar verminderen de antwoordnauwkeurigheid, wat een belangrijke afweging blootlegt. We laten verder zien dat gerichte na-training op slechts 100 voorbeelden deze mismatch vermindert, hoewel enig verlies aan nauwkeurigheid blijft bestaan. Onze resultaten benadrukken de beperkte meertalige redeneercapaciteiten van huidige LRMs en schetsen richtingen voor toekomstig onderzoek. Code en data zijn beschikbaar op https://github.com/Betswish/mCoT-XReasoning.
English
Recent Large Reasoning Models (LRMs) with thinking traces have shown strong
performance on English reasoning tasks. However, their ability to think in
other languages is less studied. This capability is as important as answer
accuracy for real world applications because users may find the reasoning trace
useful for oversight only when it is expressed in their own language. We
comprehensively evaluate two leading families of LRMs on our XReasoning
benchmark and find that even the most advanced models often revert to English
or produce fragmented reasoning in other languages, revealing a substantial gap
in multilingual reasoning. Prompt based interventions that force models to
reason in the users language improve readability and oversight but reduce
answer accuracy, exposing an important trade off. We further show that targeted
post training on just 100 examples mitigates this mismatch, though some
accuracy loss remains. Our results highlight the limited multilingual reasoning
capabilities of current LRMs and outline directions for future work. Code and
data are available at https://github.com/Betswish/mCoT-XReasoning.