Jenseits von Englisch: Auf dem Weg zu inklusiver und skalierbarer mehrsprachiger maschineller Übersetzung mit LLMs
Beyond English: Toward Inclusive and Scalable Multilingual Machine Translation with LLMs
November 10, 2025
papers.authors: Yingfeng Luo, Ziqiang Xu, Yuxuan Ouyang, Murun Yang, Dingyang Lin, Kaiyan Chang, Tong Zheng, Bei Li, Peinan Feng, Quan Du, Tong Xiao, Jingbo Zhu
cs.AI
papers.abstract
Große Sprachmodelle haben die mehrsprachige maschinelle Übersetzung (MMT) erheblich vorangetrieben, doch die breite Sprachabdeckung, konsistente Übersetzungsqualität und englisch-zentrierte Verzerrung bleiben ungelöste Herausforderungen. Um diese Probleme anzugehen, stellen wir LMT vor – eine Reihe groß angelegter mehrsprachiger Übersetzungsmodelle, die sowohl auf Chinesisch als auch auf Englisch zentriert sind und 60 Sprachen sowie 234 Übersetzungsrichtungen abdecken. Während der Entwicklung identifizieren wir ein bisher übersehenes Phänomen der direktionalen Degeneration, bei dem symmetrische Multi-Way-Fine-Tuning-Daten die Rückwärtsrichtungen (X zu En/Zh) überbetonen, was zu übermäßigen Many-to-One-Abbildungen und verschlechterter Übersetzungsqualität führt. Wir schlagen Strategic Downsampling vor, eine einfache, aber effektive Methode zur Milderung dieser Degeneration. Zusätzlich entwickeln wir Parallel Multilingual Prompting (PMP), das typologisch verwandte Hilfssprachen nutzt, um den sprachübergreifenden Transfer zu verbessern. Durch rigorose Datenkuratierung und verfeinerte Adaptionsstrategien erzielt LMT state-of-the-art Leistungen unter Modellen mit vergleichbarer Sprachabdeckung, wobei unser 4B-Modell (LMT-60-4B) die deutlich größeren Modelle Aya-101-13B und NLLB-54B mit beträchtlichem Abstand übertrifft. Wir veröffentlichen LMT in vier Größen (0.6B/1.7B/4B/8B), um zukünftige Forschung zu katalysieren und starke Baselines für inklusive, skalierbare und hochwertige MMT bereitzustellen \href{https://github.com/NiuTrans/LMT{https://github.com/NiuTrans/LMT}}.
English
Large language models have significantly advanced Multilingual Machine Translation (MMT), yet the broad language coverage, consistent translation quality, and English-centric bias remain open challenges. To address these challenges, we introduce LMT, a suite of Large-scale Multilingual Translation models centered on both Chinese and English, covering 60 languages and 234 translation directions. During development, we identify a previously overlooked phenomenon of directional degeneration, where symmetric multi-way fine-tuning data overemphasize reverse directions (X to En/Zh), leading to excessive many-to-one mappings and degraded translation quality. We propose Strategic Downsampling, a simple yet effective method to mitigate this degeneration. In addition, we design Parallel Multilingual Prompting (PMP), which leverages typologically related auxiliary languages to enhance cross-lingual transfer. Through rigorous data curation and refined adaptation strategies, LMT achieves SOTA performance among models of comparable language coverage, with our 4B model (LMT-60-4B) surpassing the much larger Aya-101-13B and NLLB-54B models by a substantial margin. We release LMT in four sizes (0.6B/1.7B/4B/8B) to catalyze future research and provide strong baselines for inclusive, scalable, and high-quality MMT \href{https://github.com/NiuTrans/LMT{https://github.com/NiuTrans/LMT}}.