Zijn grote redeneermodellen goede vertaalevaluatoren? Analyse en prestatieverbetering

Are Large Reasoning Models Good Translation Evaluators? Analysis and Performance Boost

October 23, 2025

Auteurs: Runzhe Zhan, Zhihong Huang, Xinyi Yang, Lidia S. Chao, Min Yang, Derek F. Wong

cs.AI

Samenvatting

Recente ontwikkelingen in grote redeneermodellen (LRM's) hebben een tussenliggend "denk"-proces geïntroduceerd vóór het genereren van eindantwoorden, wat hun redeneervermogen op complexe downstreamtaken verbetert. Het potentieel van LRM's als evaluatoren voor de kwaliteit van machinaal vertalen (MT) blijft echter onderbelicht. Wij presenteren de eerste systematische analyse van LRM-als-beoordelaar bij MT-evaluatie. We identificeren belangrijke uitdagingen: LRM's vereisen op maat gemaakte evaluatiematerialen, hebben de neiging tot "overdenken" bij eenvoudige gevallen en kampen met scoringsmechanismen die tot overschatting leiden. Om deze problemen aan te pakken, stellen wij voor om het LRM-denken te kalibreren door ze te trainen op synthetische, mensachtige denkprocessen. Onze experimenten op de WMT24 Metrics-benchmarks tonen aan dat deze aanpak de denkbudgetten met ~35x verlaagt, terwijl tegelijkertijd de evaluatieprestaties verbeteren across verschillende LRM-schalen van 7B tot 32B (bijvoorbeeld R1-Distill-Qwen-7B behaalt een verbetering van +8,7 correlatiepunten). Deze bevindingen benadrukken het potentieel van efficiënt gekalibreerde LRM's om gedetailleerde automatische MT-evaluatie vooruit te helpen.

English

Recent advancements in large reasoning models (LRMs) have introduced an intermediate "thinking" process prior to generating final answers, improving their reasoning capabilities on complex downstream tasks. However, the potential of LRMs as evaluators for machine translation (MT) quality remains underexplored. We provides the first systematic analysis of LRM-as-a-judge in MT evaluation. We identify key challenges, revealing LRMs require tailored evaluation materials, tend to "overthink" simpler instances and have issues with scoring mechanisms leading to overestimation. To address these, we propose to calibrate LRM thinking by training them on synthetic, human-like thinking trajectories. Our experiments on WMT24 Metrics benchmarks demonstrate that this approach largely reduces thinking budgets by ~35x while concurrently improving evaluation performance across different LRM scales from 7B to 32B (e.g., R1-Distill-Qwen-7B achieves a +8.7 correlation point improvement). These findings highlight the potential of efficiently calibrated LRMs to advance fine-grained automatic MT evaluation.