ExTrans: Multitallige Diepgaande Redeneervertaling via Voorbeeld-Gestuurde Versterkend Leren

ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning

May 19, 2025

Auteurs: Jiaan Wang, Fandong Meng, Jie Zhou

cs.AI

Samenvatting

De afgelopen jaren hebben grote redeneermodellen (LRM's), zoals OpenAI-o1 en DeepSeek-R1, indrukwekkende capaciteiten getoond bij complexe problemen, zoals wiskunde en programmeren. Enkele baanbrekende studies proberen het succes van LRM's toe te passen op neurale machinaalvertaling (MT). Ze proberen LRM's te bouwen met een diep redeneervermogen voor MT via reinforcement learning (RL). Ondanks enige vooruitgang die is geboekt, richten deze pogingen zich over het algemeen op enkele hoog-resourcetalen, zoals Engels en Chinees, waardoor de prestaties op andere talen onduidelijk blijven. Bovendien benutten de beloningsmodelleringsmethoden in eerder werk het potentieel van reinforcement learning in MT niet volledig. In dit werk ontwerpen we eerst een nieuwe beloningsmodelleringsmethode die de vertaalresultaten van het beleids-MT-model vergelijkt met een sterk LRM (d.w.z. DeepSeek-R1-671B), en deze vergelijkingen kwantificeert om beloningen te bieden. Experimentele resultaten tonen de superioriteit van de beloningsmodelleringsmethode aan. Met Qwen2.5-7B-Instruct als basis bereikt het getrainde model de nieuwe state-of-the-art prestaties in literaire vertaling en overtreft het sterke LRM's, waaronder OpenAI-o1 en DeepSeek-R1. Bovendien breiden we onze methode uit naar meertalige instellingen met 11 talen. Met een zorgvuldig ontworpen lichtgewicht beloningsmodellering in RL kunnen we eenvoudig de sterke MT-capaciteit van één richting overbrengen naar meerdere (d.w.z. 90) vertaalrichtingen en indrukwekkende meertalige MT-prestaties behalen.

English

In recent years, the emergence of large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, has shown impressive capabilities in complex problems, e.g., mathematics and coding. Some pioneering studies attempt to bring the success of LRMs in neural machine translation (MT). They try to build LRMs with deep reasoning MT ability via reinforcement learning (RL). Despite some progress that has been made, these attempts generally focus on several high-resource languages, e.g., English and Chinese, leaving the performance on other languages unclear. Besides, the reward modeling methods in previous work do not fully unleash the potential of reinforcement learning in MT. In this work, we first design a new reward modeling method that compares the translation results of the policy MT model with a strong LRM (i.e., DeepSeek-R1-671B), and quantifies the comparisons to provide rewards. Experimental results demonstrate the superiority of the reward modeling method. Using Qwen2.5-7B-Instruct as the backbone, the trained model achieves the new state-of-the-art performance in literary translation, and outperforms strong LRMs including OpenAI-o1 and DeepSeeK-R1. Furthermore, we extend our method to the multilingual settings with 11 languages. With a carefully designed lightweight reward modeling in RL, we can simply transfer the strong MT ability from a single direction into multiple (i.e., 90) translation directions and achieve impressive multilingual MT performance.