ExTrans: Traduzione Multilingue con Ragionamento Profondo tramite Apprendimento per Rinforzo Potenziato da Esempi

ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning

May 19, 2025

Autori: Jiaan Wang, Fandong Meng, Jie Zhou

cs.AI

Abstract

Negli ultimi anni, l'emergere di grandi modelli di ragionamento (LRM), come OpenAI-o1 e DeepSeek-R1, ha dimostrato capacità impressionanti nella risoluzione di problemi complessi, ad esempio in matematica e programmazione. Alcuni studi pionieristici tentano di portare il successo degli LRM nella traduzione automatica neurale (MT). Cercano di costruire LRM con capacità di traduzione profonda tramite apprendimento per rinforzo (RL). Nonostante alcuni progressi siano stati fatti, questi tentativi si concentrano generalmente su alcune lingue ad alta risorsa, come l'inglese e il cinese, lasciando incerte le prestazioni su altre lingue. Inoltre, i metodi di modellazione della ricompensa nei lavori precedenti non sfruttano appieno il potenziale dell'apprendimento per rinforzo nella MT. In questo lavoro, progettiamo prima un nuovo metodo di modellazione della ricompensa che confronta i risultati di traduzione del modello MT con un forte LRM (cioè DeepSeek-R1-671B) e quantifica i confronti per fornire ricompense. I risultati sperimentali dimostrano la superiorità del metodo di modellazione della ricompensa. Utilizzando Qwen2.5-7B-Instruct come backbone, il modello addestrato raggiunge le nuove prestazioni state-of-the-art nella traduzione letteraria e supera i forti LRM, inclusi OpenAI-o1 e DeepSeek-R1. Inoltre, estendiamo il nostro metodo a contesti multilingue con 11 lingue. Con una modellazione della ricompensa leggera e ben progettata nell'RL, possiamo semplicemente trasferire la forte capacità di MT da una singola direzione a più direzioni (cioè 90) e ottenere prestazioni impressionanti nella MT multilingue.

English

In recent years, the emergence of large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, has shown impressive capabilities in complex problems, e.g., mathematics and coding. Some pioneering studies attempt to bring the success of LRMs in neural machine translation (MT). They try to build LRMs with deep reasoning MT ability via reinforcement learning (RL). Despite some progress that has been made, these attempts generally focus on several high-resource languages, e.g., English and Chinese, leaving the performance on other languages unclear. Besides, the reward modeling methods in previous work do not fully unleash the potential of reinforcement learning in MT. In this work, we first design a new reward modeling method that compares the translation results of the policy MT model with a strong LRM (i.e., DeepSeek-R1-671B), and quantifies the comparisons to provide rewards. Experimental results demonstrate the superiority of the reward modeling method. Using Qwen2.5-7B-Instruct as the backbone, the trained model achieves the new state-of-the-art performance in literary translation, and outperforms strong LRMs including OpenAI-o1 and DeepSeeK-R1. Furthermore, we extend our method to the multilingual settings with 11 languages. With a carefully designed lightweight reward modeling in RL, we can simply transfer the strong MT ability from a single direction into multiple (i.e., 90) translation directions and achieve impressive multilingual MT performance.