X-Fusion: 凍結された大規模言語モデルへの新たなモダリティの導入

X-Fusion: Introducing New Modality to Frozen Large Language Models

April 29, 2025

著者: Sicheng Mo, Thao Nguyen, Xun Huang, Siddharth Srinivasan Iyer, Yijun Li, Yuchen Liu, Abhishek Tandon, Eli Shechtman, Krishna Kumar Singh, Yong Jae Lee, Bolei Zhou, Yuheng Li

cs.AI

要旨

我々は、事前学習済み大規模言語モデル（LLM）の言語能力を維持しつつ、マルチモーダルタスクに対応するX-Fusionフレームワークを提案する。X-Fusionはモダリティ固有の重みを持つデュアルタワー設計を採用し、LLMのパラメータを凍結したまま、視覚情報を理解と生成の両方に統合する。実験の結果、X-Fusionは画像からテキスト、テキストから画像の両タスクにおいて、代替アーキテクチャを一貫して上回ることが示された。理解に焦点を当てたデータを組み込むことで生成品質が向上し、画像データのノイズを低減することで全体的な性能が向上すること、また特徴量のアライメントは小規模モデルの収束を加速するが、大規模モデルにはほとんど影響を与えないことが明らかになった。これらの知見は、効率的な統一マルチモーダルモデルの構築に貴重な洞察を提供する。

English

We propose X-Fusion, a framework that extends pretrained Large Language Models (LLMs) for multimodal tasks while preserving their language capabilities. X-Fusion employs a dual-tower design with modality-specific weights, keeping the LLM's parameters frozen while integrating vision-specific information for both understanding and generation. Our experiments demonstrate that X-Fusion consistently outperforms alternative architectures on both image-to-text and text-to-image tasks. We find that incorporating understanding-focused data improves generation quality, reducing image data noise enhances overall performance, and feature alignment accelerates convergence for smaller models but has minimal impact on larger ones. Our findings provide valuable insights into building efficient unified multimodal models.