DITING: Un Marco de Evaluación Multiagente para la Comparativa de Traducción de Novelas Web

DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation

October 10, 2025

Autores: Enze Zhang, Jiaying Wang, Mengxi Xiao, Jifei Liu, Ziyan Kuang, Rui Dong, Eric Dong, Sophia Ananiadou, Min Peng, Qianqian Xie

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs) han avanzado significativamente la traducción automática (MT), aunque su eficacia en la traducción de novelas web sigue siendo incierta. Los puntos de referencia existentes se basan en métricas superficiales que no logran capturar las características distintivas de este género. Para abordar estas limitaciones, presentamos DITING, el primer marco de evaluación integral para la traducción de novelas web, que evalúa la fidelidad narrativa y cultural en seis dimensiones: traducción de modismos, ambigüedad léxica, localización de terminología, consistencia temporal, resolución de pronombres cero y seguridad cultural, respaldado por más de 18K pares de frases chino-inglés anotados por expertos. Además, proponemos AgentEval, un marco de evaluación multiagente basado en razonamiento que simula la deliberación experta para evaluar la calidad de la traducción más allá de la superposición léxica, logrando la mayor correlación con los juicios humanos entre siete métricas automáticas probadas. Para permitir la comparación de métricas, desarrollamos MetricAlign, un conjunto de datos de meta-evaluación de 300 pares de frases anotados con etiquetas de error y puntuaciones escalares de calidad. La evaluación exhaustiva de catorce modelos abiertos, cerrados y comerciales revela que los LLMs entrenados en chino superan a sus contrapartes extranjeras más grandes, y que DeepSeek-V3 ofrece las traducciones más fieles y coherentes en estilo. Nuestro trabajo establece un nuevo paradigma para explorar la traducción de novelas web basada en LLMs y proporciona recursos públicos para impulsar futuras investigaciones.

English

Large language models (LLMs) have substantially advanced machine translation (MT), yet their effectiveness in translating web novels remains unclear. Existing benchmarks rely on surface-level metrics that fail to capture the distinctive traits of this genre. To address these gaps, we introduce DITING, the first comprehensive evaluation framework for web novel translation, assessing narrative and cultural fidelity across six dimensions: idiom translation, lexical ambiguity, terminology localization, tense consistency, zero-pronoun resolution, and cultural safety, supported by over 18K expert-annotated Chinese-English sentence pairs. We further propose AgentEval, a reasoning-driven multi-agent evaluation framework that simulates expert deliberation to assess translation quality beyond lexical overlap, achieving the highest correlation with human judgments among seven tested automatic metrics. To enable metric comparison, we develop MetricAlign, a meta-evaluation dataset of 300 sentence pairs annotated with error labels and scalar quality scores. Comprehensive evaluation of fourteen open, closed, and commercial models reveals that Chinese-trained LLMs surpass larger foreign counterparts, and that DeepSeek-V3 delivers the most faithful and stylistically coherent translations. Our work establishes a new paradigm for exploring LLM-based web novel translation and provides public resources to advance future research.