Cuando los modelos razonan en tu idioma: Controlar el lenguaje del rastro de pensamiento tiene un costo en la precisión.

When Models Reason in Your Language: Controlling Thinking Trace Language Comes at the Cost of Accuracy

May 28, 2025

Autores: Jirui Qi, Shan Chen, Zidi Xiong, Raquel Fernández, Danielle S. Bitterman, Arianna Bisazza

cs.AI

Resumen

Los recientes Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) con trazas de pensamiento han demostrado un fuerte rendimiento en tareas de razonamiento en inglés. Sin embargo, su capacidad para pensar en otros idiomas ha sido menos estudiada. Esta capacidad es tan importante como la precisión de las respuestas para aplicaciones del mundo real, ya que los usuarios pueden encontrar útil la traza de razonamiento para supervisión solo cuando está expresada en su propio idioma. Evaluamos exhaustivamente dos familias líderes de LRMs en nuestro benchmark XReasoning y encontramos que incluso los modelos más avanzados a menudo recurren al inglés o producen razonamientos fragmentados en otros idiomas, revelando una brecha sustancial en el razonamiento multilingüe. Las intervenciones basadas en prompts que obligan a los modelos a razonar en el idioma del usuario mejoran la legibilidad y la supervisión, pero reducen la precisión de las respuestas, exponiendo un importante compromiso. Además, demostramos que un entrenamiento posterior específico con solo 100 ejemplos mitiga este desajuste, aunque persiste cierta pérdida de precisión. Nuestros resultados destacan las limitadas capacidades de razonamiento multilingüe de los LRMs actuales y esbozan direcciones para trabajos futuros. El código y los datos están disponibles en https://github.com/Betswish/mCoT-XReasoning.

English

Recent Large Reasoning Models (LRMs) with thinking traces have shown strong performance on English reasoning tasks. However, their ability to think in other languages is less studied. This capability is as important as answer accuracy for real world applications because users may find the reasoning trace useful for oversight only when it is expressed in their own language. We comprehensively evaluate two leading families of LRMs on our XReasoning benchmark and find that even the most advanced models often revert to English or produce fragmented reasoning in other languages, revealing a substantial gap in multilingual reasoning. Prompt based interventions that force models to reason in the users language improve readability and oversight but reduce answer accuracy, exposing an important trade off. We further show that targeted post training on just 100 examples mitigates this mismatch, though some accuracy loss remains. Our results highlight the limited multilingual reasoning capabilities of current LRMs and outline directions for future work. Code and data are available at https://github.com/Betswish/mCoT-XReasoning.