X-Fusion: Introductie van een nieuwe modaliteit voor bevroren grote taalmodellen

X-Fusion: Introducing New Modality to Frozen Large Language Models

April 29, 2025

Auteurs: Sicheng Mo, Thao Nguyen, Xun Huang, Siddharth Srinivasan Iyer, Yijun Li, Yuchen Liu, Abhishek Tandon, Eli Shechtman, Krishna Kumar Singh, Yong Jae Lee, Bolei Zhou, Yuheng Li

cs.AI

Samenvatting

We stellen X-Fusion voor, een raamwerk dat vooraf getrainde Large Language Models (LLMs) uitbreidt voor multimodale taken terwijl hun taalvaardigheden behouden blijven. X-Fusion maakt gebruik van een dual-tower ontwerp met modality-specifieke gewichten, waarbij de parameters van de LLM bevroren blijven terwijl visie-specifieke informatie wordt geïntegreerd voor zowel begrip als generatie. Onze experimenten tonen aan dat X-Fusion consistent beter presteert dan alternatieve architecturen bij zowel beeld-naar-tekst als tekst-naar-beeld taken. We ontdekken dat het opnemen van data gericht op begrip de generatiekwaliteit verbetert, het verminderen van ruis in beelddata de algehele prestaties verhoogt, en feature alignment de convergentie versnelt voor kleinere modellen maar een minimaal effect heeft op grotere. Onze bevindingen bieden waardevolle inzichten voor het bouwen van efficiënte, verenigde multimodale modellen.

English

We propose X-Fusion, a framework that extends pretrained Large Language Models (LLMs) for multimodal tasks while preserving their language capabilities. X-Fusion employs a dual-tower design with modality-specific weights, keeping the LLM's parameters frozen while integrating vision-specific information for both understanding and generation. Our experiments demonstrate that X-Fusion consistently outperforms alternative architectures on both image-to-text and text-to-image tasks. We find that incorporating understanding-focused data improves generation quality, reducing image data noise enhances overall performance, and feature alignment accelerates convergence for smaller models but has minimal impact on larger ones. Our findings provide valuable insights into building efficient unified multimodal models.