Verloren im Literalismus: Wie überwachtes Training Übersetzungsstil in LLMs prägt

Lost in Literalism: How Supervised Training Shapes Translationese in LLMs

March 6, 2025

Autoren: Yafu Li, Ronghao Zhang, Zhilin Wang, Huajian Zhang, Leyang Cui, Yongjing Yin, Tong Xiao, Yue Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Erfolge in der maschinellen Übersetzung erzielt und beeindruckende Leistungen über diverse Sprachen hinweg gezeigt. Dennoch bleibt „Translationese“, das durch allzu wörtliche und unnatürliche Übersetzungen gekennzeichnet ist, eine anhaltende Herausforderung in LLM-basierten Übersetzungssystemen. Trotz ihres Vortrainings auf umfangreichen Korpora natürlicher Äußerungen zeigen LLMs Translationese-Fehler und erzeugen unerwartet unnatürliche Übersetzungen, die auf Verzerrungen zurückzuführen sind, die während des überwachten Feinabstimmens (SFT) eingeführt werden. In dieser Arbeit evaluieren wir systematisch die Verbreitung von Translationese in LLM-generierten Übersetzungen und untersuchen ihre Ursprünge während des überwachten Trainings. Wir führen Methoden ein, um diese Verzerrungen zu mildern, einschließlich der Überarbeitung von Goldreferenzen und der Filterung unnatürlicher Trainingsinstanzen. Empirische Auswertungen zeigen, dass diese Ansätze Translationese signifikant reduzieren und gleichzeitig die Natürlichkeit der Übersetzung verbessern, was durch menschliche Bewertungen und automatische Metriken bestätigt wird. Unsere Ergebnisse unterstreichen die Notwendigkeit von trainingsbewussten Anpassungen, um die Übersetzungsausgaben von LLMs zu optimieren und den Weg für flüssigere und zielsprachenkonsistentere Übersetzungen zu ebnen. Wir veröffentlichen die Daten und den Code unter https://github.com/yafuly/LLM_Translationese.

English

Large language models (LLMs) have achieved remarkable success in machine translation, demonstrating impressive performance across diverse languages. However, translationese, characterized by overly literal and unnatural translations, remains a persistent challenge in LLM-based translation systems. Despite their pre-training on vast corpora of natural utterances, LLMs exhibit translationese errors and generate unexpected unnatural translations, stemming from biases introduced during supervised fine-tuning (SFT). In this work, we systematically evaluate the prevalence of translationese in LLM-generated translations and investigate its roots during supervised training. We introduce methods to mitigate these biases, including polishing golden references and filtering unnatural training instances. Empirical evaluations demonstrate that these approaches significantly reduce translationese while improving translation naturalness, validated by human evaluations and automatic metrics. Our findings highlight the need for training-aware adjustments to optimize LLM translation outputs, paving the way for more fluent and target-language-consistent translations. We release the data and code at https://github.com/yafuly/LLM_Translationese.