X-Fusion : Introduction d'une nouvelle modalité aux grands modèles de langage figés

X-Fusion: Introducing New Modality to Frozen Large Language Models

April 29, 2025

Auteurs: Sicheng Mo, Thao Nguyen, Xun Huang, Siddharth Srinivasan Iyer, Yijun Li, Yuchen Liu, Abhishek Tandon, Eli Shechtman, Krishna Kumar Singh, Yong Jae Lee, Bolei Zhou, Yuheng Li

cs.AI

Résumé

Nous proposons X-Fusion, un cadre qui étend les modèles de langage pré-entraînés (LLM) pour des tâches multimodales tout en préservant leurs capacités linguistiques. X-Fusion utilise une architecture à double tour avec des poids spécifiques à chaque modalité, gardant les paramètres du LLM figés tout en intégrant des informations spécifiques à la vision pour la compréhension et la génération. Nos expériences montrent que X-Fusion surpasse systématiquement les architectures alternatives sur les tâches de conversion image-texte et texte-image. Nous constatons que l'intégration de données axées sur la compréhension améliore la qualité de la génération, que la réduction du bruit dans les données d'image améliore les performances globales, et que l'alignement des caractéristiques accélère la convergence pour les modèles plus petits mais a un impact minimal sur les plus grands. Nos résultats fournissent des insights précieux pour la construction de modèles multimodaux unifiés et efficaces.

English

We propose X-Fusion, a framework that extends pretrained Large Language Models (LLMs) for multimodal tasks while preserving their language capabilities. X-Fusion employs a dual-tower design with modality-specific weights, keeping the LLM's parameters frozen while integrating vision-specific information for both understanding and generation. Our experiments demonstrate that X-Fusion consistently outperforms alternative architectures on both image-to-text and text-to-image tasks. We find that incorporating understanding-focused data improves generation quality, reducing image data noise enhances overall performance, and feature alignment accelerates convergence for smaller models but has minimal impact on larger ones. Our findings provide valuable insights into building efficient unified multimodal models.