DITING: Многоагентная система оценки для тестирования перевода веб-романов

DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation

October 10, 2025

Авторы: Enze Zhang, Jiaying Wang, Mengxi Xiao, Jifei Liu, Ziyan Kuang, Rui Dong, Eric Dong, Sophia Ananiadou, Min Peng, Qianqian Xie

cs.AI

Аннотация

Крупные языковые модели (LLM) значительно продвинули машинный перевод (MT), однако их эффективность в переводе веб-романов остается неясной. Существующие бенчмарки опираются на поверхностные метрики, которые не учитывают характерные черты этого жанра. Для устранения этих пробелов мы представляем DITING — первую всеобъемлющую систему оценки перевода веб-романов, анализирующую нарративную и культурную точность по шести параметрам: перевод идиом, лексическая неоднозначность, локализация терминологии, согласованность времен, разрешение нулевых местоимений и культурная безопасность, с поддержкой более 18 тысяч экспертно аннотированных китайско-английских пар предложений. Мы также предлагаем AgentEval — многоагентную систему оценки, основанную на рассуждениях, которая моделирует экспертные обсуждения для оценки качества перевода за пределами лексического совпадения, демонстрируя наивысшую корреляцию с человеческими суждениями среди семи протестированных автоматических метрик. Для сравнения метрик мы разработали MetricAlign — мета-оценочный набор данных из 300 пар предложений, аннотированных метками ошибок и скалярными оценками качества. Всесторонняя оценка четырнадцати открытых, закрытых и коммерческих моделей показывает, что китайские LLM превосходят более крупные зарубежные аналоги, а DeepSeek-V3 обеспечивает наиболее точные и стилистически согласованные переводы. Наша работа устанавливает новую парадигму для исследования перевода веб-романов на основе LLM и предоставляет публичные ресурсы для продвижения будущих исследований.

English

Large language models (LLMs) have substantially advanced machine translation (MT), yet their effectiveness in translating web novels remains unclear. Existing benchmarks rely on surface-level metrics that fail to capture the distinctive traits of this genre. To address these gaps, we introduce DITING, the first comprehensive evaluation framework for web novel translation, assessing narrative and cultural fidelity across six dimensions: idiom translation, lexical ambiguity, terminology localization, tense consistency, zero-pronoun resolution, and cultural safety, supported by over 18K expert-annotated Chinese-English sentence pairs. We further propose AgentEval, a reasoning-driven multi-agent evaluation framework that simulates expert deliberation to assess translation quality beyond lexical overlap, achieving the highest correlation with human judgments among seven tested automatic metrics. To enable metric comparison, we develop MetricAlign, a meta-evaluation dataset of 300 sentence pairs annotated with error labels and scalar quality scores. Comprehensive evaluation of fourteen open, closed, and commercial models reveals that Chinese-trained LLMs surpass larger foreign counterparts, and that DeepSeek-V3 delivers the most faithful and stylistically coherent translations. Our work establishes a new paradigm for exploring LLM-based web novel translation and provides public resources to advance future research.