Más allá del inglés: hacia una traducción automática multilingüe inclusiva y escalable con modelos de lenguaje grandes
Beyond English: Toward Inclusive and Scalable Multilingual Machine Translation with LLMs
November 10, 2025
Autores: Yingfeng Luo, Ziqiang Xu, Yuxuan Ouyang, Murun Yang, Dingyang Lin, Kaiyan Chang, Tong Zheng, Bei Li, Peinan Feng, Quan Du, Tong Xiao, Jingbo Zhu
cs.AI
Resumen
Los modelos de lenguaje grande han avanzado significativamente la Traducción Automática Multilingüe (TAM), sin embargo, la amplia cobertura lingüística, la calidad de traducción consistente y el sesgo centrado en el inglés siguen siendo desafíos pendientes. Para abordar estos desafíos, presentamos LMT, un conjunto de modelos de Traducción Multilingüe a Gran Escala centrados tanto en chino como en inglés, que cubre 60 idiomas y 234 direcciones de traducción. Durante el desarrollo, identificamos un fenómeno previamente pasado por alto: la degeneración direccional, donde los datos de ajuste fino multidireccionales simétricos enfatizan en exceso las direcciones inversas (X a En/Zh), conduciendo a un exceso de mapeos muchos-a-uno y a una calidad de traducción degradada. Proponemos el Muestreo Estratégico Inferior, un método simple pero efectivo para mitigar esta degeneración. Adicionalmente, diseñamos el Prompting Multilingüe Paralelo (PMP), que aprovecha idiomas auxiliares tipológicamente relacionados para mejorar la transferencia cross-lingüística. Mediante una rigurosa curación de datos y estrategias de adaptación refinadas, LMT logra un rendimiento de vanguardia entre modelos de cobertura lingüística comparable, superando nuestro modelo de 4B (LMT-60-4B) por un margen sustancial a modelos mucho más grandes como Aya-101-13B y NLLB-54B. Publicamos LMT en cuatro tamaños (0.6B/1.7B/4B/8B) para catalizar futuras investigaciones y proporcionar sólidas líneas base para una TAM inclusiva, escalable y de alta calidad \href{https://github.com/NiuTrans/LMT{https://github.com/NiuTrans/LMT}}.
English
Large language models have significantly advanced Multilingual Machine Translation (MMT), yet the broad language coverage, consistent translation quality, and English-centric bias remain open challenges. To address these challenges, we introduce LMT, a suite of Large-scale Multilingual Translation models centered on both Chinese and English, covering 60 languages and 234 translation directions. During development, we identify a previously overlooked phenomenon of directional degeneration, where symmetric multi-way fine-tuning data overemphasize reverse directions (X to En/Zh), leading to excessive many-to-one mappings and degraded translation quality. We propose Strategic Downsampling, a simple yet effective method to mitigate this degeneration. In addition, we design Parallel Multilingual Prompting (PMP), which leverages typologically related auxiliary languages to enhance cross-lingual transfer. Through rigorous data curation and refined adaptation strategies, LMT achieves SOTA performance among models of comparable language coverage, with our 4B model (LMT-60-4B) surpassing the much larger Aya-101-13B and NLLB-54B models by a substantial margin. We release LMT in four sizes (0.6B/1.7B/4B/8B) to catalyze future research and provide strong baselines for inclusive, scalable, and high-quality MMT \href{https://github.com/NiuTrans/LMT{https://github.com/NiuTrans/LMT}}.