Perduti nel letteralismo: come l'addestramento supervisionato plasma il translationese nei modelli linguistici di grandi dimensioni

Lost in Literalism: How Supervised Training Shapes Translationese in LLMs

March 6, 2025

Autori: Yafu Li, Ronghao Zhang, Zhilin Wang, Huajian Zhang, Leyang Cui, Yongjing Yin, Tong Xiao, Yue Zhang

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno ottenuto un successo straordinario nella traduzione automatica, dimostrando prestazioni impressionanti in diverse lingue. Tuttavia, il "translationese", caratterizzato da traduzioni eccessivamente letterali e innaturali, rimane una sfida persistente nei sistemi di traduzione basati su LLM. Nonostante il pre-addestramento su vasti corpora di espressioni naturali, gli LLM presentano errori di translationese e generano traduzioni innaturali inaspettate, derivanti da bias introdotti durante la messa a punto supervisionata (SFT). In questo lavoro, valutiamo sistematicamente la prevalenza del translationese nelle traduzioni generate da LLM e ne indaghiamo le radici durante l'addestramento supervisionato. Introduciamo metodi per mitigare questi bias, tra cui la rifinitura delle referenze auree e il filtraggio delle istanze di addestramento innaturali. Le valutazioni empiriche dimostrano che questi approcci riducono significativamente il translationese migliorando la naturalezza delle traduzioni, convalidato da valutazioni umane e metriche automatiche. I nostri risultati evidenziano la necessità di adattamenti consapevoli dell'addestramento per ottimizzare gli output di traduzione degli LLM, aprendo la strada a traduzioni più fluide e coerenti con la lingua target. Rilasciamo i dati e il codice su https://github.com/yafuly/LLM_Translationese.

English

Large language models (LLMs) have achieved remarkable success in machine translation, demonstrating impressive performance across diverse languages. However, translationese, characterized by overly literal and unnatural translations, remains a persistent challenge in LLM-based translation systems. Despite their pre-training on vast corpora of natural utterances, LLMs exhibit translationese errors and generate unexpected unnatural translations, stemming from biases introduced during supervised fine-tuning (SFT). In this work, we systematically evaluate the prevalence of translationese in LLM-generated translations and investigate its roots during supervised training. We introduce methods to mitigate these biases, including polishing golden references and filtering unnatural training instances. Empirical evaluations demonstrate that these approaches significantly reduce translationese while improving translation naturalness, validated by human evaluations and automatic metrics. Our findings highlight the need for training-aware adjustments to optimize LLM translation outputs, paving the way for more fluent and target-language-consistent translations. We release the data and code at https://github.com/yafuly/LLM_Translationese.