ExTrans: Tradução de Raciocínio Profundo Multilíngue via Aprendizado por Reforço Aprimorado por Exemplos

ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning

May 19, 2025

Autores: Jiaan Wang, Fandong Meng, Jie Zhou

cs.AI

Resumo

Nos últimos anos, o surgimento de grandes modelos de raciocínio (LRMs, do inglês Large Reasoning Models), como o OpenAI-o1 e o DeepSeek-R1, demonstrou capacidades impressionantes em problemas complexos, como matemática e codificação. Alguns estudos pioneiros tentam trazer o sucesso dos LRMs para a tradução automática neural (MT, do inglês Machine Translation). Eles buscam construir LRMs com capacidade profunda de raciocínio em MT por meio de aprendizado por reforço (RL, do inglês Reinforcement Learning). Apesar de alguns progressos terem sido alcançados, essas tentativas geralmente se concentram em vários idiomas de alto recurso, como inglês e chinês, deixando o desempenho em outros idiomas incerto. Além disso, os métodos de modelagem de recompensa em trabalhos anteriores não exploram plenamente o potencial do aprendizado por reforço em MT. Neste trabalho, primeiro projetamos um novo método de modelagem de recompensa que compara os resultados de tradução do modelo de MT de política com um LRM forte (ou seja, o DeepSeek-R1-671B) e quantifica as comparações para fornecer recompensas. Os resultados experimentais demonstram a superioridade do método de modelagem de recompensa. Usando o Qwen2.5-7B-Instruct como base, o modelo treinado alcança o novo estado da arte em tradução literária e supera LRMs fortes, incluindo o OpenAI-o1 e o DeepSeek-R1. Além disso, estendemos nosso método para configurações multilingues com 11 idiomas. Com uma modelagem de recompensa leve e cuidadosamente projetada em RL, podemos simplesmente transferir a forte capacidade de MT de uma única direção para múltiplas (ou seja, 90) direções de tradução e alcançar um desempenho impressionante em MT multilingue.

English

In recent years, the emergence of large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, has shown impressive capabilities in complex problems, e.g., mathematics and coding. Some pioneering studies attempt to bring the success of LRMs in neural machine translation (MT). They try to build LRMs with deep reasoning MT ability via reinforcement learning (RL). Despite some progress that has been made, these attempts generally focus on several high-resource languages, e.g., English and Chinese, leaving the performance on other languages unclear. Besides, the reward modeling methods in previous work do not fully unleash the potential of reinforcement learning in MT. In this work, we first design a new reward modeling method that compares the translation results of the policy MT model with a strong LRM (i.e., DeepSeek-R1-671B), and quantifies the comparisons to provide rewards. Experimental results demonstrate the superiority of the reward modeling method. Using Qwen2.5-7B-Instruct as the backbone, the trained model achieves the new state-of-the-art performance in literary translation, and outperforms strong LRMs including OpenAI-o1 and DeepSeeK-R1. Furthermore, we extend our method to the multilingual settings with 11 languages. With a carefully designed lightweight reward modeling in RL, we can simply transfer the strong MT ability from a single direction into multiple (i.e., 90) translation directions and achieve impressive multilingual MT performance.