DITING: Een Multi-Agent Evaluatiekader voor het Benchmarken van Webromanvertalingen

Samenvatting

Grote taalmodellen (LLMs) hebben machinevertaling (MT) aanzienlijk vooruitgeholpen, maar hun effectiviteit bij het vertalen van webromans blijft onduidelijk. Bestaande benchmarks vertrouwen op oppervlakkige metrieken die de kenmerkende eigenschappen van dit genre niet vastleggen. Om deze tekortkomingen aan te pakken, introduceren we DITING, het eerste uitgebreide evaluatieraamwerk voor het vertalen van webromans, dat narratieve en culturele trouw beoordeelt over zes dimensies: idioomvertaling, lexicale ambiguïteit, terminologielokalisatie, tijdsconsistentie, zero-pronomenresolutie en culturele veiligheid, ondersteund door meer dan 18K expert-geannoteerde Chinees-Engelse zinsparen. We stellen verder AgentEval voor, een redeneringsgestuurd multi-agent evaluatieraamwerk dat expertberaad simuleert om vertaalkwaliteit te beoordelen die verder gaat dan lexicale overlap, en dat de hoogste correlatie met menselijke oordelen bereikt onder zeven geteste automatische metrieken. Om metrische vergelijking mogelijk te maken, ontwikkelen we MetricAlign, een meta-evaluatiedataset van 300 zinsparen geannoteerd met foutlabels en scalaire kwaliteitsscores. Een uitgebreide evaluatie van veertien open, gesloten en commerciële modellen onthult dat in China getrainde LLMs grotere buitenlandse tegenhangers overtreffen, en dat DeepSeek-V3 de meest trouwe en stilistisch coherente vertalingen levert. Ons werk vestigt een nieuw paradigma voor het verkennen van LLM-gebaseerde webromanvertaling en biedt publieke bronnen om toekomstig onderzoek te bevorderen.

English

Large language models (LLMs) have substantially advanced machine translation (MT), yet their effectiveness in translating web novels remains unclear. Existing benchmarks rely on surface-level metrics that fail to capture the distinctive traits of this genre. To address these gaps, we introduce DITING, the first comprehensive evaluation framework for web novel translation, assessing narrative and cultural fidelity across six dimensions: idiom translation, lexical ambiguity, terminology localization, tense consistency, zero-pronoun resolution, and cultural safety, supported by over 18K expert-annotated Chinese-English sentence pairs. We further propose AgentEval, a reasoning-driven multi-agent evaluation framework that simulates expert deliberation to assess translation quality beyond lexical overlap, achieving the highest correlation with human judgments among seven tested automatic metrics. To enable metric comparison, we develop MetricAlign, a meta-evaluation dataset of 300 sentence pairs annotated with error labels and scalar quality scores. Comprehensive evaluation of fourteen open, closed, and commercial models reveals that Chinese-trained LLMs surpass larger foreign counterparts, and that DeepSeek-V3 delivers the most faithful and stylistically coherent translations. Our work establishes a new paradigm for exploring LLM-based web novel translation and provides public resources to advance future research.

DITING: Een Multi-Agent Evaluatiekader voor het Benchmarken van Webromanvertalingen

DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation

Samenvatting

Support