ExTrans : Traduction multilingue par raisonnement profond via un apprentissage par renforcement amélioré par des exemples

ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning

May 19, 2025

Auteurs: Jiaan Wang, Fandong Meng, Jie Zhou

cs.AI

Résumé

Ces dernières années, l'émergence de modèles de raisonnement à grande échelle (LRMs), tels qu'OpenAI-o1 et DeepSeek-R1, a démontré des capacités impressionnantes dans la résolution de problèmes complexes, par exemple en mathématiques et en programmation. Certaines études pionnières tentent de transposer le succès des LRMs à la traduction automatique neuronale (MT). Elles cherchent à construire des LRMs dotés d'une capacité de traduction approfondie via l'apprentissage par renforcement (RL). Malgré certains progrès réalisés, ces tentatives se concentrent généralement sur plusieurs langues à ressources élevées, comme l'anglais et le chinois, laissant la performance sur d'autres langues incertaine. De plus, les méthodes de modélisation des récompenses dans les travaux précédents ne libèrent pas pleinement le potentiel de l'apprentissage par renforcement en MT. Dans ce travail, nous concevons d'abord une nouvelle méthode de modélisation des récompenses qui compare les résultats de traduction du modèle de politique MT avec un LRM puissant (c'est-à-dire DeepSeek-R1-671B), et quantifie ces comparaisons pour fournir des récompenses. Les résultats expérimentaux démontrent la supériorité de cette méthode de modélisation des récompenses. En utilisant Qwen2.5-7B-Instruct comme base, le modèle entraîné atteint une nouvelle performance de pointe en traduction littéraire et surpasse les LRM puissants, y compris OpenAI-o1 et DeepSeek-R1. De plus, nous étendons notre méthode à des configurations multilingues avec 11 langues. Grâce à une modélisation des récompenses légère et soigneusement conçue dans le RL, nous pouvons simplement transférer la forte capacité de MT d'une seule direction vers plusieurs (c'est-à-dire 90) directions de traduction et obtenir une performance impressionnante en MT multilingue.

English

In recent years, the emergence of large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, has shown impressive capabilities in complex problems, e.g., mathematics and coding. Some pioneering studies attempt to bring the success of LRMs in neural machine translation (MT). They try to build LRMs with deep reasoning MT ability via reinforcement learning (RL). Despite some progress that has been made, these attempts generally focus on several high-resource languages, e.g., English and Chinese, leaving the performance on other languages unclear. Besides, the reward modeling methods in previous work do not fully unleash the potential of reinforcement learning in MT. In this work, we first design a new reward modeling method that compares the translation results of the policy MT model with a strong LRM (i.e., DeepSeek-R1-671B), and quantifies the comparisons to provide rewards. Experimental results demonstrate the superiority of the reward modeling method. Using Qwen2.5-7B-Instruct as the backbone, the trained model achieves the new state-of-the-art performance in literary translation, and outperforms strong LRMs including OpenAI-o1 and DeepSeeK-R1. Furthermore, we extend our method to the multilingual settings with 11 languages. With a carefully designed lightweight reward modeling in RL, we can simply transfer the strong MT ability from a single direction into multiple (i.e., 90) translation directions and achieve impressive multilingual MT performance.