X-Fusion: Introduzione di una Nuova Modalità ai Modelli Linguistici di Grande Dimensione Congelati

X-Fusion: Introducing New Modality to Frozen Large Language Models

April 29, 2025

Autori: Sicheng Mo, Thao Nguyen, Xun Huang, Siddharth Srinivasan Iyer, Yijun Li, Yuchen Liu, Abhishek Tandon, Eli Shechtman, Krishna Kumar Singh, Yong Jae Lee, Bolei Zhou, Yuheng Li

cs.AI

Abstract

Proponiamo X-Fusion, un framework che estende i modelli linguistici di grandi dimensioni (LLM) pre-addestrati per compiti multimodali preservando le loro capacità linguistiche. X-Fusion utilizza un design a doppia torre con pesi specifici per ciascuna modalità, mantenendo congelati i parametri dell'LLM mentre integra informazioni specifiche per la visione sia per la comprensione che per la generazione. I nostri esperimenti dimostrano che X-Fusion supera costantemente architetture alternative sia nei compiti di immagine-a-testo che di testo-a-immagine. Troviamo che l'incorporazione di dati focalizzati sulla comprensione migliora la qualità della generazione, che la riduzione del rumore nei dati immagine migliora le prestazioni complessive e che l'allineamento delle feature accelera la convergenza per modelli più piccoli ma ha un impatto minimo su quelli più grandi. Le nostre scoperte forniscono preziose intuizioni per la costruzione di modelli multimodali unificati ed efficienti.

English

We propose X-Fusion, a framework that extends pretrained Large Language Models (LLMs) for multimodal tasks while preserving their language capabilities. X-Fusion employs a dual-tower design with modality-specific weights, keeping the LLM's parameters frozen while integrating vision-specific information for both understanding and generation. Our experiments demonstrate that X-Fusion consistently outperforms alternative architectures on both image-to-text and text-to-image tasks. We find that incorporating understanding-focused data improves generation quality, reducing image data noise enhances overall performance, and feature alignment accelerates convergence for smaller models but has minimal impact on larger ones. Our findings provide valuable insights into building efficient unified multimodal models.