Lenguaje Bajo Demanda, Conocimiento en el Núcleo: Composición de LLM con Modelos de Traducción Codificador-Decodificador para Multilingüismo Extensible
Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality
March 18, 2026
Autores: Mengyu Bu, Yang Feng
cs.AI
Resumen
Los grandes modelos de lenguaje (LLM) exhiben una fuerte inteligencia general, pero su rendimiento multilingüe sigue siendo muy desigual. Aunque los LLM codifican un conocimiento transversal sustancial en un espacio semántico unificado, a menudo luchan por conectar este conocimiento de manera confiable con lenguajes de bajos recursos o no vistos. Afortunadamente, los modelos de traducción preentrenados con arquitectura codificador-decodificador ya poseen una capacidad multilingüe equilibrada, lo que sugiere un complemento natural para los LLM. En este trabajo, proponemos XBridge, una arquitectura composicional codificador-LLM-decodificador que descarga la comprensión y generación multilingüe en modelos de traducción preentrenados externos, preservando al LLM como un núcleo anglófono para el procesamiento de conocimiento general. Para abordar el desalineamiento de representación resultante entre modelos, introducimos capas de mapeo cruzado ligeras y un objetivo de alineación basado en transporte óptimo, permitiendo una consistencia semántica de grano fino para la generación multilingüe. Los experimentos en cuatro LLM sobre comprensión, razonamiento, resumen y generación multilingüe indican que XBridge supera a los baselines sólidos, especialmente en lenguajes de bajos recursos y no vistos previamente, sin reentrenar el LLM.
English
Large language models (LLMs) exhibit strong general intelligence, yet their multilingual performance remains highly imbalanced. Although LLMs encode substantial cross-lingual knowledge in a unified semantic space, they often struggle to reliably interface this knowledge with low-resource or unseen languages. Fortunately, pretrained encoder-decoder translation models already possess balanced multilingual capability, suggesting a natural complement to LLMs. In this work, we propose XBridge, a compositional encoder-LLM-decoder architecture that offloads multilingual understanding and generation to external pretrained translation models, while preserving the LLM as an English-centric core for general knowledge processing. To address the resulting representation misalignment across models, we introduce lightweight cross-model mapping layers and an optimal transport-based alignment objective, enabling fine-grained semantic consistency for multilingual generation. Experiments on four LLMs across multilingual understanding, reasoning, summarization, and generation indicate that XBridge outperforms strong baselines, especially on low-resource and previously unseen languages, without retraining the LLM.