Sind große Reasoning-Modelle gute Übersetzungsbewerter? Analyse und Leistungssteigerung

Are Large Reasoning Models Good Translation Evaluators? Analysis and Performance Boost

October 23, 2025

papers.authors: Runzhe Zhan, Zhihong Huang, Xinyi Yang, Lidia S. Chao, Min Yang, Derek F. Wong

cs.AI

papers.abstract

Jüngste Fortschritte bei großen Reasoning-Modellen (LRMs) haben einen Zwischenprozess des „Denkens“ vor der Generierung endgültiger Antworten eingeführt, was ihre Fähigkeiten zum logischen Schlussfolgern bei komplexen Downstream-Aufgaben verbessert. Das Potenzial von LRMs als Bewerter für die Qualität von maschineller Übersetzung (MT) ist jedoch noch unzureichend erforscht. Wir liefern die erste systematische Analyse von „LRM-as-a-Judge“ in der MT-Evaluation. Wir identifizieren zentrale Herausforderungen und zeigen, dass LRMs maßgeschneidertes Evaluationsmaterial benötigen, dazu neigen, bei einfacheren Instanzen zu „überdenken“, und Probleme mit Bewertungsmechanismen haben, die zu Überschätzungen führen. Um diese Probleme anzugehen, schlagen wir vor, das LRM-Denken durch Training an synthetischen, menschenähnlichen Denkverläufen zu kalibrieren. Unsere Experimente auf den WMT24 Metrics-Benchmarks zeigen, dass dieser Ansatz den Denkaufwand um das ~35-fache reduziert und gleichzeitig die Evaluationsleistung über verschiedene LRM-Größen von 7B bis 32B verbessert (z.B. erzielt R1-Distill-Qwen-7B eine Verbesserung um +8,7 Korrelationspunkte). Diese Ergebnisse unterstreichen das Potenzial effizient kalibrierter LRMs für die Weiterentwicklung feinkörniger automatischer MT-Evaluation.

English

Recent advancements in large reasoning models (LRMs) have introduced an intermediate "thinking" process prior to generating final answers, improving their reasoning capabilities on complex downstream tasks. However, the potential of LRMs as evaluators for machine translation (MT) quality remains underexplored. We provides the first systematic analysis of LRM-as-a-judge in MT evaluation. We identify key challenges, revealing LRMs require tailored evaluation materials, tend to "overthink" simpler instances and have issues with scoring mechanisms leading to overestimation. To address these, we propose to calibrate LRM thinking by training them on synthetic, human-like thinking trajectories. Our experiments on WMT24 Metrics benchmarks demonstrate that this approach largely reduces thinking budgets by ~35x while concurrently improving evaluation performance across different LRM scales from 7B to 32B (e.g., R1-Distill-Qwen-7B achieves a +8.7 correlation point improvement). These findings highlight the potential of efficiently calibrated LRMs to advance fine-grained automatic MT evaluation.