I grandi modelli di ragionamento sono buoni valutatori della traduzione? Analisi e miglioramento delle prestazioni

Are Large Reasoning Models Good Translation Evaluators? Analysis and Performance Boost

October 23, 2025

Autori: Runzhe Zhan, Zhihong Huang, Xinyi Yang, Lidia S. Chao, Min Yang, Derek F. Wong

cs.AI

Abstract

I recenti progressi nei modelli di ragionamento su larga scala (LRM) hanno introdotto un processo "pensante" intermedio prima della generazione delle risposte finali, migliorando le loro capacità di ragionamento su compiti complessi a valle. Tuttavia, il potenziale degli LRM come valutatori per la qualità della traduzione automatica (MT) rimane poco esplorato. Forniamo la prima analisi sistematica dell'approccio "LRM come giudice" nella valutazione della MT. Identifichiamo sfide chiave, rivelando che gli LRM richiedono materiali di valutazione su misura, tendono a "pensare troppo" (overthink) istanze più semplici e presentano problemi con i meccanismi di punteggio che portano a sovrastime. Per affrontare questi problemi, proponiamo di calibrare il pensiero degli LRM addestrandoli su traiettorie di pensiero sintetiche e simili a quelle umane. I nostri esperimenti sui benchmark WMT24 Metrics dimostrano che questo approccio riduce notevolmente i budget computazionali del pensiero di ~35x, migliorando simultaneamente le prestazioni valutative su diverse scale LRM da 7B a 32B (ad esempio, R1-Distill-Qwen-7B raggiunge un miglioramento di +8.7 punti di correlazione). Questi risultati evidenziano il potenziale degli LRM efficientemente calibrati per far progredire la valutazione automatica fine-grana della MT.

English

Recent advancements in large reasoning models (LRMs) have introduced an intermediate "thinking" process prior to generating final answers, improving their reasoning capabilities on complex downstream tasks. However, the potential of LRMs as evaluators for machine translation (MT) quality remains underexplored. We provides the first systematic analysis of LRM-as-a-judge in MT evaluation. We identify key challenges, revealing LRMs require tailored evaluation materials, tend to "overthink" simpler instances and have issues with scoring mechanisms leading to overestimation. To address these, we propose to calibrate LRM thinking by training them on synthetic, human-like thinking trajectories. Our experiments on WMT24 Metrics benchmarks demonstrate that this approach largely reduces thinking budgets by ~35x while concurrently improving evaluation performance across different LRM scales from 7B to 32B (e.g., R1-Distill-Qwen-7B achieves a +8.7 correlation point improvement). These findings highlight the potential of efficiently calibrated LRMs to advance fine-grained automatic MT evaluation.