ExTrans: Traducción Multilingüe de Razonamiento Profundo mediante Aprendizaje por Refuerzo Potenciado con Ejemplos

ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning

May 19, 2025

Autores: Jiaan Wang, Fandong Meng, Jie Zhou

cs.AI

Resumen

En los últimos años, el surgimiento de modelos de razonamiento a gran escala (LRMs, por sus siglas en inglés), como OpenAI-o1 y DeepSeek-R1, ha demostrado capacidades impresionantes en problemas complejos, como matemáticas y programación. Algunos estudios pioneros intentan trasladar el éxito de los LRMs a la traducción automática neuronal (MT). Estos intentan construir LRMs con capacidad avanzada de razonamiento en MT mediante aprendizaje por refuerzo (RL). A pesar de algunos avances logrados, estos esfuerzos generalmente se centran en varios idiomas de alto recurso, como el inglés y el chino, dejando el desempeño en otros idiomas poco claro. Además, los métodos de modelado de recompensas en trabajos anteriores no aprovechan plenamente el potencial del aprendizaje por refuerzo en MT. En este trabajo, primero diseñamos un nuevo método de modelado de recompensas que compara los resultados de traducción del modelo de MT con un LRM potente (es decir, DeepSeek-R1-671B) y cuantifica las comparaciones para proporcionar recompensas. Los resultados experimentales demuestran la superioridad del método de modelado de recompensas. Utilizando Qwen2.5-7B-Instruct como base, el modelo entrenado alcanza un nuevo rendimiento de vanguardia en traducción literaria y supera a LRMs potentes como OpenAI-o1 y DeepSeek-R1. Además, extendemos nuestro método a configuraciones multilingües con 11 idiomas. Con un diseño cuidadoso de un modelado de recompensas ligero en RL, podemos transferir fácilmente la capacidad avanzada de MT desde una sola dirección a múltiples (es decir, 90) direcciones de traducción y lograr un rendimiento impresionante en MT multilingüe.

English

In recent years, the emergence of large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, has shown impressive capabilities in complex problems, e.g., mathematics and coding. Some pioneering studies attempt to bring the success of LRMs in neural machine translation (MT). They try to build LRMs with deep reasoning MT ability via reinforcement learning (RL). Despite some progress that has been made, these attempts generally focus on several high-resource languages, e.g., English and Chinese, leaving the performance on other languages unclear. Besides, the reward modeling methods in previous work do not fully unleash the potential of reinforcement learning in MT. In this work, we first design a new reward modeling method that compares the translation results of the policy MT model with a strong LRM (i.e., DeepSeek-R1-671B), and quantifies the comparisons to provide rewards. Experimental results demonstrate the superiority of the reward modeling method. Using Qwen2.5-7B-Instruct as the backbone, the trained model achieves the new state-of-the-art performance in literary translation, and outperforms strong LRMs including OpenAI-o1 and DeepSeeK-R1. Furthermore, we extend our method to the multilingual settings with 11 languages. With a carefully designed lightweight reward modeling in RL, we can simply transfer the strong MT ability from a single direction into multiple (i.e., 90) translation directions and achieve impressive multilingual MT performance.