オンデマンドの言語、コアとなる知識：拡張可能な多言語対応を実現するためのエンコーダ・デコーダ翻訳モデルとLLMの構成

要旨

大規模言語モデル（LLM）は強力な汎用知能を示すが、その多言語性能は依然として著しく不均衡である。LLMは統一された意味空間に膨大な言語横断的知識を符号化するものの、低リソース言語や未学習言語に対してこの知識を確実に連動させることに苦戦することが多い。幸い、事前学習済みエンコーダ・デコーダ型翻訳モデルは既に均衡の取れた多言語能力を有しており、LLMを自然に補完する可能性を示唆している。本論文では、XBridgeを提案する。これは合成的なエンコーダ-LLM-デコーダ構造であり、多言語理解と生成を外部の事前学習済み翻訳モデルに委譲しつつ、LLMを汎用知識処理のための英語中心の中核として維持する。これに伴うモデル間の表現の不一致に対処するため、軽量なモデル間マッピング層と最適輸送理論に基づくアライメント目的関数を導入し、多言語生成における細粒度の意味的一貫性を実現する。多言語理解、推論、要約、生成の4タスクにおいて4種類のLLMで行った実験では、XBridgeが強力なベースラインを上回り、特に低リソース言語および未学習言語において、LLMの再学習なしに優れた性能を示すことが確認された。

English

Large language models (LLMs) exhibit strong general intelligence, yet their multilingual performance remains highly imbalanced. Although LLMs encode substantial cross-lingual knowledge in a unified semantic space, they often struggle to reliably interface this knowledge with low-resource or unseen languages. Fortunately, pretrained encoder-decoder translation models already possess balanced multilingual capability, suggesting a natural complement to LLMs. In this work, we propose XBridge, a compositional encoder-LLM-decoder architecture that offloads multilingual understanding and generation to external pretrained translation models, while preserving the LLM as an English-centric core for general knowledge processing. To address the resulting representation misalignment across models, we introduce lightweight cross-model mapping layers and an optimal transport-based alignment objective, enabling fine-grained semantic consistency for multilingual generation. Experiments on four LLMs across multilingual understanding, reasoning, summarization, and generation indicate that XBridge outperforms strong baselines, especially on low-resource and previously unseen languages, without retraining the LLM.

オンデマンドの言語、コアとなる知識：拡張可能な多言語対応を実現するためのエンコーダ・デコーダ翻訳モデルとLLMの構成

Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality

要旨

Support