Les grands modèles de raisonnement sont-ils de bons évaluateurs de traduction ? Analyse et amélioration des performances

Are Large Reasoning Models Good Translation Evaluators? Analysis and Performance Boost

October 23, 2025

papers.authors: Runzhe Zhan, Zhihong Huang, Xinyi Yang, Lidia S. Chao, Min Yang, Derek F. Wong

cs.AI

papers.abstract

Les récents progrès des grands modèles de raisonnement (LRM) ont introduit un processus de « réflexion » intermédiaire avant la génération des réponses finales, améliorant leurs capacités de raisonnement sur des tâches complexes en aval. Cependant, le potentiel des LRM en tant qu'évaluateurs de la qualité de la traduction automatique (TA) reste sous-exploré. Nous proposons la première analyse systématique des LRM utilisés comme juges dans l'évaluation de la TA. Nous identifions des défis majeurs, révélant que les LRM nécessitent des matériaux d'évaluation adaptés, ont tendance à « surréfléchir » les instances simples et présentent des problèmes avec les mécanismes de notation conduisant à des surestimations. Pour y remédier, nous proposons de calibrer la réflexion des LRM en les entraînant sur des trajectoires de pensée synthétiques, semblables à celles des humains. Nos expériences sur les benchmarks WMT24 Metrics démontrent que cette approche réduit considérablement le coût de réflexion d'environ 35 fois, tout en améliorant les performances d'évaluation pour différentes échelles de LRM, de 7B à 32B (par exemple, R1-Distill-Qwen-7B enregistre une amélioration de +8,7 points de corrélation). Ces résultats soulignent le potentiel des LRM efficacement calibrés pour faire progresser l'évaluation automatique fine de la TA.

English

Recent advancements in large reasoning models (LRMs) have introduced an intermediate "thinking" process prior to generating final answers, improving their reasoning capabilities on complex downstream tasks. However, the potential of LRMs as evaluators for machine translation (MT) quality remains underexplored. We provides the first systematic analysis of LRM-as-a-judge in MT evaluation. We identify key challenges, revealing LRMs require tailored evaluation materials, tend to "overthink" simpler instances and have issues with scoring mechanisms leading to overestimation. To address these, we propose to calibrate LRM thinking by training them on synthetic, human-like thinking trajectories. Our experiments on WMT24 Metrics benchmarks demonstrate that this approach largely reduces thinking budgets by ~35x while concurrently improving evaluation performance across different LRM scales from 7B to 32B (e.g., R1-Distill-Qwen-7B achieves a +8.7 correlation point improvement). These findings highlight the potential of efficiently calibrated LRMs to advance fine-grained automatic MT evaluation.