Являются ли большие языковые модели с навыками рассуждения хорошими оценщиками перевода? Анализ и повышение эффективности.

Are Large Reasoning Models Good Translation Evaluators? Analysis and Performance Boost

October 23, 2025

Авторы: Runzhe Zhan, Zhihong Huang, Xinyi Yang, Lidia S. Chao, Min Yang, Derek F. Wong

cs.AI

Аннотация

Последние достижения в области больших моделей рассуждений (LRM) ввели промежуточный процесс «мышления» перед генерацией окончательных ответов, что улучшило их способности к рассуждению при выполнении сложных задач. Однако потенциал LRM в качестве оценщиков качества машинного перевода (МП) остается недостаточно изученным. Мы представляем первый систематический анализ использования LRM в роли судьи для оценки МП. Мы выявляем ключевые проблемы, показывая, что LRM требуют специально подготовленных оценочных материалов, склонны к «избыточному мышлению» на простых примерах и имеют проблемы с механизмами оценки, ведущими к завышению баллов. Для решения этих проблем мы предлагаем калибровать мышление LRM путем их обучения на синтетических, подобных человеческим, траекториях мышления. Наши эксперименты на бенчмарках WMT24 Metrics демонстрируют, что этот подход значительно сокращает вычислительные затраты на мышление примерно в 35 раз, одновременно улучшая оценочную производительность для моделей различного масштаба от 7B до 32B (например, модель R1-Distill-Qwen-7B показывает улучшение на +8.7 пунктов корреляции). Эти результаты подчеркивают потенциал эффективно калиброванных LRM для развития детализированной автоматической оценки машинного перевода.

English

Recent advancements in large reasoning models (LRMs) have introduced an intermediate "thinking" process prior to generating final answers, improving their reasoning capabilities on complex downstream tasks. However, the potential of LRMs as evaluators for machine translation (MT) quality remains underexplored. We provides the first systematic analysis of LRM-as-a-judge in MT evaluation. We identify key challenges, revealing LRMs require tailored evaluation materials, tend to "overthink" simpler instances and have issues with scoring mechanisms leading to overestimation. To address these, we propose to calibrate LRM thinking by training them on synthetic, human-like thinking trajectories. Our experiments on WMT24 Metrics benchmarks demonstrate that this approach largely reduces thinking budgets by ~35x while concurrently improving evaluation performance across different LRM scales from 7B to 32B (e.g., R1-Distill-Qwen-7B achieves a +8.7 correlation point improvement). These findings highlight the potential of efficiently calibrated LRMs to advance fine-grained automatic MT evaluation.