Lingua su Richiesta, Conoscenza al Centro: Comporre LLM con Modelli di Traduzione Encoder-Decoder per una Multilinguità Estensibile
Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality
March 18, 2026
Autori: Mengyu Bu, Yang Feng
cs.AI
Abstract
I grandi modelli linguistici (LLM) mostrano una forte intelligenza generale, ma le loro prestazioni multilingue rimangono fortemente squilibrate. Sebbene gli LLM codifichino una sostanziale conoscenza cross-linguale in uno spazio semantico unificato, spesso faticano a interfacciare in modo affidabile questa conoscenza con lingue a risorse limitate o non viste. Fortunatamente, i modelli di traduzione preaddestrati di tipo encoder-decoder possiedono già capacità multilingue bilanciate, suggerendo un complemento naturale per gli LLM. In questo lavoro, proponiamo XBridge, un'architettura composita encoder-LLM-decoder che delega la comprensione e la generazione multilingue a modelli di traduzione preaddestrati esterni, preservando al contempo l'LLM come nucleo incentrato sull'inglese per l'elaborazione della conoscenza generale. Per affrontare il conseguente disallineamento delle rappresentazioni tra i modelli, introduciamo strati di mappatura cross-modello leggeri e un obiettivo di allineamento basato sul trasporto ottimo, consentendo una consistenza semantica granulare per la generazione multilingue. Esperimenti su quattro LLM in compiti di comprensione, ragionamento, riassunto e generazione multilingue indicano che XBridge supera baseline robuste, specialmente su lingue a risorse limitate e precedentemente non viste, senza riaddestrare l'LLM.
English
Large language models (LLMs) exhibit strong general intelligence, yet their multilingual performance remains highly imbalanced. Although LLMs encode substantial cross-lingual knowledge in a unified semantic space, they often struggle to reliably interface this knowledge with low-resource or unseen languages. Fortunately, pretrained encoder-decoder translation models already possess balanced multilingual capability, suggesting a natural complement to LLMs. In this work, we propose XBridge, a compositional encoder-LLM-decoder architecture that offloads multilingual understanding and generation to external pretrained translation models, while preserving the LLM as an English-centric core for general knowledge processing. To address the resulting representation misalignment across models, we introduce lightweight cross-model mapping layers and an optimal transport-based alignment objective, enabling fine-grained semantic consistency for multilingual generation. Experiments on four LLMs across multilingual understanding, reasoning, summarization, and generation indicate that XBridge outperforms strong baselines, especially on low-resource and previously unseen languages, without retraining the LLM.