DRT-o1: Optimierte tiefe Schlussfolgerungsübersetzung über lange Gedankenkette

DRT-o1: Optimized Deep Reasoning Translation via Long Chain-of-Thought

December 23, 2024

Autoren: Jiaan Wang, Fandong Meng, Yunlong Liang, Jie Zhou

cs.AI

Zusammenfassung

In jüngster Zeit sind O1-ähnliche Modelle als repräsentative Beispiele aufgetaucht, die die Wirksamkeit von langen Gedankenkettens (CoT) bei Aufgaben des logischen Denkens wie Mathematik- und Codieraufgaben veranschaulichen. In diesem Paper stellen wir DRT-o1 vor, einen Versuch, den Erfolg von langen CoT auf neuronale maschinelle Übersetzung (MT) zu übertragen. Insbesondere bei Literaturbüchern, die möglicherweise Vergleiche und Metaphern enthalten, ist die Übersetzung dieser Texte in eine Zielsprache aufgrund kultureller Unterschiede in der Praxis sehr schwierig. In solchen Fällen gelingt es eine wörtliche Übersetzung oft nicht, die beabsichtigte Bedeutung effektiv zu vermitteln. Selbst für professionelle menschliche Übersetzer muss erheblich darüber nachgedacht werden, die Semantik während des Übersetzungsprozesses zu bewahren. Um die Fähigkeit zu langem Denken von LLMs in der MT zu simulieren, schürfen wir zunächst Sätze mit Vergleichen oder Metaphern aus bestehenden Literaturbüchern und entwickeln dann einen Multi-Agenten-Framework, um diese Sätze über langen Gedanken zu übersetzen. Im Multi-Agenten-Framework wird ein Übersetzer verwendet, um den Ausgangssatz iterativ unter den Vorschlägen eines Beraters zu übersetzen. Um die Wirksamkeit der langen Gedanken zu gewährleisten, wird auch ein Evaluierer eingesetzt, um zu beurteilen, ob die Übersetzung in der aktuellen Runde besser ist als die vorherige oder nicht. Auf diese Weise sammeln wir Zehntausende von Daten zur MT mit langem Denken, die zur Schulung unseres DRT-o1 verwendet werden. Die experimentellen Ergebnisse zur Literaturübersetzung zeigen die Wirksamkeit des DRT-o1. Mit Qwen2.5-7B und Qwen2.5-14B als Grundlage erreicht die Verbesserung durch DRT-o1 7,33~8,26 BLEU und 1,66~3,36 CometScore. Darüber hinaus kann DRT-o1-7B QwQ-32B-Preview um 7,82 BLEU und 1,46 CometScore übertreffen und zeigt damit seine Wirksamkeit. Das Projekt ist unter https://github.com/krystalan/DRT-o1 verfügbar.

English

Recently, O1-like models have emerged as representative examples, illustrating the effectiveness of long chain-of-thought (CoT) in reasoning tasks such as math and coding tasks. In this paper, we introduce DRT-o1, an attempt to bring the success of long CoT to neural machine translation (MT). Specifically, in view of the literature books that might involve similes and metaphors, translating these texts to a target language is very difficult in practice due to cultural differences. In such cases, literal translation often fails to convey the intended meaning effectively. Even for professional human translators, considerable thought must be given to preserving semantics throughout the translation process. To simulate LLMs' long thought ability in MT, we first mine sentences containing similes or metaphors from existing literature books, and then develop a multi-agent framework to translate these sentences via long thought. In the multi-agent framework, a translator is used to iteratively translate the source sentence under the suggestions provided by an advisor. To ensure the effectiveness of the long thoughts, an evaluator is also employed to judge whether the translation in the current round is better than the previous one or not. In this manner, we collect tens of thousands of long-thought MT data, which is used to train our DRT-o1. The experimental results on literature translation demonstrate the effectiveness of the DRT-o1. Using Qwen2.5-7B and Qwen2.5-14B as the backbones, the improvement brought by DRT-o1 achieves 7.33~8.26 BLEU and 1.66~3.36 CometScore. Besides, DRT-o1-7B can outperform QwQ-32B-Preview by 7.82 BLEU and 1.46 CometScore, showing its effectiveness. The project is available at https://github.com/krystalan/DRT-o1