Langage à la Demande, Savoir au Cœur : Composition de LLM avec des Modèles de Traduction Encodeur-Décodeur pour une Multilinguistique Extensible
Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality
March 18, 2026
Auteurs: Mengyu Bu, Yang Feng
cs.AI
Résumé
Les grands modèles de langage (LLM) démontrent une forte intelligence générale, mais leurs performances multilingues restent très déséquilibrées. Bien que les LLM encodent des connaissances cross-lingues substantielles dans un espace sémantique unifié, ils peinent souvent à relier cette connaissance de manière fiable avec des langues peu dotées ou non vues. Heureusement, les modèles de traduction encodeur-décodeur pré-entraînés possèdent déjà des capacités multilingues équilibrées, suggérant un complément naturel aux LLM. Dans ce travail, nous proposons XBridge, une architecture compositionnelle encodeur-LLM-décodeur qui délègue la compréhension et la génération multilingues à des modèles de traduction externes pré-entraînés, tout en préservant le LLM comme cœur anglocentrique pour le traitement des connaissances générales. Pour résoudre le désalignement représentationnel résultant entre les modèles, nous introduisons des couches de mappage inter-modèles légères et un objectif d'alignement basé sur le transport optimal, permettant une cohérence sémantique fine pour la génération multilingue. Les expériences sur quatre LLM couvrant la compréhension, le raisonnement, la synthèse et la génération multilingues indiquent que XBridge surpasse les bases de référence solides, particulièrement sur les langues peu dotées et non vues précédemment, sans réentraîner le LLM.
English
Large language models (LLMs) exhibit strong general intelligence, yet their multilingual performance remains highly imbalanced. Although LLMs encode substantial cross-lingual knowledge in a unified semantic space, they often struggle to reliably interface this knowledge with low-resource or unseen languages. Fortunately, pretrained encoder-decoder translation models already possess balanced multilingual capability, suggesting a natural complement to LLMs. In this work, we propose XBridge, a compositional encoder-LLM-decoder architecture that offloads multilingual understanding and generation to external pretrained translation models, while preserving the LLM as an English-centric core for general knowledge processing. To address the resulting representation misalignment across models, we introduce lightweight cross-model mapping layers and an optimal transport-based alignment objective, enabling fine-grained semantic consistency for multilingual generation. Experiments on four LLMs across multilingual understanding, reasoning, summarization, and generation indicate that XBridge outperforms strong baselines, especially on low-resource and previously unseen languages, without retraining the LLM.