Verloren in Literalisme: Hoe Supervised Training Vertaaltaligheid Vormgeeft in LLM's

Lost in Literalism: How Supervised Training Shapes Translationese in LLMs

March 6, 2025

Auteurs: Yafu Li, Ronghao Zhang, Zhilin Wang, Huajian Zhang, Leyang Cui, Yongjing Yin, Tong Xiao, Yue Zhang

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben opmerkelijke successen geboekt in machinaal vertalen, waarbij ze indrukwekkende prestaties laten zien over diverse talen. Echter blijft translationese, gekenmerkt door te letterlijke en onnatuurlijke vertalingen, een hardnekkige uitdaging in LLM-gebaseerde vertaalsystemen. Ondanks hun voorafgaande training op enorme corpora van natuurlijke uitingen, vertonen LLMs translationese-fouten en genereren ze onverwachte onnatuurlijke vertalingen, wat voortkomt uit biases die tijdens supervised fine-tuning (SFT) worden geïntroduceerd. In dit werk evalueren we systematisch de prevalentie van translationese in LLM-gegenereerde vertalingen en onderzoeken we de oorzaken ervan tijdens supervised training. We introduceren methoden om deze biases te verminderen, waaronder het polijsten van gouden referenties en het filteren van onnatuurlijke trainingsinstanties. Empirische evaluaties tonen aan dat deze benaderingen translationese aanzienlijk verminderen en tegelijkertijd de natuurlijkheid van vertalingen verbeteren, wat wordt gevalideerd door menselijke evaluaties en automatische metrieken. Onze bevindingen benadrukken de noodzaak van training-aware aanpassingen om LLM-vertalingen te optimaliseren, waardoor de weg wordt geëffend voor vloeiendere en doeltaal-consistente vertalingen. We maken de data en code beschikbaar op https://github.com/yafuly/LLM_Translationese.

English

Large language models (LLMs) have achieved remarkable success in machine translation, demonstrating impressive performance across diverse languages. However, translationese, characterized by overly literal and unnatural translations, remains a persistent challenge in LLM-based translation systems. Despite their pre-training on vast corpora of natural utterances, LLMs exhibit translationese errors and generate unexpected unnatural translations, stemming from biases introduced during supervised fine-tuning (SFT). In this work, we systematically evaluate the prevalence of translationese in LLM-generated translations and investigate its roots during supervised training. We introduce methods to mitigate these biases, including polishing golden references and filtering unnatural training instances. Empirical evaluations demonstrate that these approaches significantly reduce translationese while improving translation naturalness, validated by human evaluations and automatic metrics. Our findings highlight the need for training-aware adjustments to optimize LLM translation outputs, paving the way for more fluent and target-language-consistent translations. We release the data and code at https://github.com/yafuly/LLM_Translationese.