ExTrans: Многоязычный перевод с глубоким логическим выводом через обучение с подкреплением, усиленное примерами

ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning

May 19, 2025

Авторы: Jiaan Wang, Fandong Meng, Jie Zhou

cs.AI

Аннотация

В последние годы появление крупных моделей рассуждений (LRM), таких как OpenAI-o1 и DeepSeek-R1, продемонстрировало впечатляющие способности в решении сложных задач, например, в математике и программировании. Некоторые передовые исследования пытаются перенести успехи LRM в область нейронного машинного перевода (MT). Они стремятся создать LRM с глубокими способностями к рассуждениям в MT с использованием обучения с подкреплением (RL). Несмотря на достигнутый прогресс, эти попытки в основном сосредоточены на нескольких языках с большими ресурсами, таких как английский и китайский, оставляя неясной производительность на других языках. Кроме того, методы моделирования вознаграждения в предыдущих работах не полностью раскрывают потенциал обучения с подкреплением в MT. В данной работе мы сначала разрабатываем новый метод моделирования вознаграждения, который сравнивает результаты перевода модели MT с сильной LRM (например, DeepSeek-R1-671B) и количественно оценивает эти сравнения для предоставления вознаграждений. Экспериментальные результаты демонстрируют превосходство этого метода моделирования вознаграждения. Используя Qwen2.5-7B-Instruct в качестве основы, обученная модель достигает нового уровня производительности в литературном переводе и превосходит сильные LRM, включая OpenAI-o1 и DeepSeek-R1. Кроме того, мы расширяем наш метод на многоязычные настройки с 11 языками. С тщательно разработанным облегченным моделированием вознаграждения в RL мы можем просто перенести сильные способности MT из одного направления на множество (т.е. 90) направлений перевода и достичь впечатляющей производительности в многоязычном MT.

English

In recent years, the emergence of large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, has shown impressive capabilities in complex problems, e.g., mathematics and coding. Some pioneering studies attempt to bring the success of LRMs in neural machine translation (MT). They try to build LRMs with deep reasoning MT ability via reinforcement learning (RL). Despite some progress that has been made, these attempts generally focus on several high-resource languages, e.g., English and Chinese, leaving the performance on other languages unclear. Besides, the reward modeling methods in previous work do not fully unleash the potential of reinforcement learning in MT. In this work, we first design a new reward modeling method that compares the translation results of the policy MT model with a strong LRM (i.e., DeepSeek-R1-671B), and quantifies the comparisons to provide rewards. Experimental results demonstrate the superiority of the reward modeling method. Using Qwen2.5-7B-Instruct as the backbone, the trained model achieves the new state-of-the-art performance in literary translation, and outperforms strong LRMs including OpenAI-o1 and DeepSeeK-R1. Furthermore, we extend our method to the multilingual settings with 11 languages. With a carefully designed lightweight reward modeling in RL, we can simply transfer the strong MT ability from a single direction into multiple (i.e., 90) translation directions and achieve impressive multilingual MT performance.