ExTrans: Multilinguale tiefgreifende Übersetzungslogik durch exemplarverstärktes Reinforcement Learning

ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning

May 19, 2025

Autoren: Jiaan Wang, Fandong Meng, Jie Zhou

cs.AI

Zusammenfassung

In den letzten Jahren haben große Reasoning-Modelle (LRMs) wie OpenAI-o1 und DeepSeek-R1 beeindruckende Fähigkeiten bei der Lösung komplexer Probleme, z. B. in Mathematik und Programmierung, gezeigt. Einige wegweisende Studien versuchen, den Erfolg von LRMs auf die neuronale maschinelle Übersetzung (MT) zu übertragen. Sie zielen darauf ab, LRMs mit tiefgreifender MT-Reasoning-Fähigkeit durch Reinforcement Learning (RL) zu entwickeln. Trotz einiger Fortschritte konzentrieren sich diese Versuche in der Regel auf mehrere Hochressourcen-Sprachen wie Englisch und Chinesisch, wodurch die Leistung in anderen Sprachen unklar bleibt. Darüber hinaus nutzen die Belohnungsmodellierungsmethoden in früheren Arbeiten das Potenzial von Reinforcement Learning in der MT nicht vollständig aus. In dieser Arbeit entwickeln wir zunächst eine neue Belohnungsmodellierungsmethode, die die Übersetzungsergebnisse des Policy-MT-Modells mit einem starken LRM (d. h. DeepSeek-R1-671B) vergleicht und diese Vergleiche quantifiziert, um Belohnungen zu liefern. Experimentelle Ergebnisse demonstrieren die Überlegenheit dieser Belohnungsmodellierungsmethode. Mit Qwen2.5-7B-Instruct als Grundlage erreicht das trainierte Modell eine neue State-of-the-Art-Leistung in der literarischen Übersetzung und übertrifft starke LRMs wie OpenAI-o1 und DeepSeek-R1. Darüber hinaus erweitern wir unsere Methode auf multilinguale Einstellungen mit 11 Sprachen. Durch ein sorgfältig entworfenes, leichtgewichtiges Belohnungsmodell im RL können wir die starke MT-Fähigkeit einfach von einer einzelnen Richtung auf mehrere (d. h. 90) Übersetzungsrichtungen übertragen und beeindruckende multilinguale MT-Leistungen erzielen.

English

In recent years, the emergence of large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, has shown impressive capabilities in complex problems, e.g., mathematics and coding. Some pioneering studies attempt to bring the success of LRMs in neural machine translation (MT). They try to build LRMs with deep reasoning MT ability via reinforcement learning (RL). Despite some progress that has been made, these attempts generally focus on several high-resource languages, e.g., English and Chinese, leaving the performance on other languages unclear. Besides, the reward modeling methods in previous work do not fully unleash the potential of reinforcement learning in MT. In this work, we first design a new reward modeling method that compares the translation results of the policy MT model with a strong LRM (i.e., DeepSeek-R1-671B), and quantifies the comparisons to provide rewards. Experimental results demonstrate the superiority of the reward modeling method. Using Qwen2.5-7B-Instruct as the backbone, the trained model achieves the new state-of-the-art performance in literary translation, and outperforms strong LRMs including OpenAI-o1 and DeepSeeK-R1. Furthermore, we extend our method to the multilingual settings with 11 languages. With a carefully designed lightweight reward modeling in RL, we can simply transfer the strong MT ability from a single direction into multiple (i.e., 90) translation directions and achieve impressive multilingual MT performance.