Os Grandes Modelos de Raciocínio São Bons Avaliadores de Tradução? Análise e Melhoria de Desempenho

Are Large Reasoning Models Good Translation Evaluators? Analysis and Performance Boost

October 23, 2025

Autores: Runzhe Zhan, Zhihong Huang, Xinyi Yang, Lidia S. Chao, Min Yang, Derek F. Wong

cs.AI

Resumo

Os recentes avanços em modelos de raciocínio de grande escala (LRMs) introduziram um processo intermediário de "pensamento" antes da geração das respostas finais, melhorando suas capacidades de raciocínio em tarefas complexas subsequentes. No entanto, o potencial dos LRMs como avaliadores da qualidade da tradução automática (MT) permanece pouco explorado. Apresentamos a primeira análise sistemática do conceito "LRM-como-juiz" na avaliação de MT. Identificamos desafios fundamentais, revelando que os LRMs exigem materiais de avaliação personalizados, tendem a "pensar demais" em instâncias mais simples e apresentam problemas com mecanismos de pontuação que levam à superestimação. Para enfrentar esses problemas, propomos calibrar o pensamento dos LRMs treinando-os com trajetórias de pensamento sintéticas e semelhantes às humanas. Nossos experimentos nos benchmarks WMT24 Metrics demonstram que esta abordagem reduz substancialmente o custo computacional de pensamento em ~35x, melhorando simultaneamente o desempenho avaliativo em diferentes escalas de LRMs de 7B a 32B (por exemplo, o R1-Distill-Qwen-7B alcança uma melhoria de +8,7 pontos de correlação). Essas descobertas destacam o potencial dos LRMs eficientemente calibrados para avançar a avaliação automática de MT em nível granular.

English

Recent advancements in large reasoning models (LRMs) have introduced an intermediate "thinking" process prior to generating final answers, improving their reasoning capabilities on complex downstream tasks. However, the potential of LRMs as evaluators for machine translation (MT) quality remains underexplored. We provides the first systematic analysis of LRM-as-a-judge in MT evaluation. We identify key challenges, revealing LRMs require tailored evaluation materials, tend to "overthink" simpler instances and have issues with scoring mechanisms leading to overestimation. To address these, we propose to calibrate LRM thinking by training them on synthetic, human-like thinking trajectories. Our experiments on WMT24 Metrics benchmarks demonstrate that this approach largely reduces thinking budgets by ~35x while concurrently improving evaluation performance across different LRM scales from 7B to 32B (e.g., R1-Distill-Qwen-7B achieves a +8.7 correlation point improvement). These findings highlight the potential of efficiently calibrated LRMs to advance fine-grained automatic MT evaluation.