X-Fusion: Introduzindo Nova Modalidade a Modelos de Linguagem de Grande Escala Congelados

X-Fusion: Introducing New Modality to Frozen Large Language Models

April 29, 2025

Autores: Sicheng Mo, Thao Nguyen, Xun Huang, Siddharth Srinivasan Iyer, Yijun Li, Yuchen Liu, Abhishek Tandon, Eli Shechtman, Krishna Kumar Singh, Yong Jae Lee, Bolei Zhou, Yuheng Li

cs.AI

Resumo

Propomos o X-Fusion, um framework que estende modelos de linguagem grandes (LLMs) pré-treinados para tarefas multimodais, preservando suas capacidades linguísticas. O X-Fusion emprega um design de torres duplas com pesos específicos para cada modalidade, mantendo os parâmetros do LLM congelados enquanto integra informações específicas para visão, tanto para compreensão quanto para geração. Nossos experimentos demonstram que o X-Fusion supera consistentemente arquiteturas alternativas em tarefas de imagem-para-texto e texto-para-imagem. Descobrimos que a incorporação de dados focados em compreensão melhora a qualidade da geração, a redução de ruído em dados de imagem aprimora o desempenho geral, e o alinhamento de características acelera a convergência para modelos menores, mas tem impacto mínimo em modelos maiores. Nossas descobertas fornecem insights valiosos para a construção de modelos multimodais unificados e eficientes.

English

We propose X-Fusion, a framework that extends pretrained Large Language Models (LLMs) for multimodal tasks while preserving their language capabilities. X-Fusion employs a dual-tower design with modality-specific weights, keeping the LLM's parameters frozen while integrating vision-specific information for both understanding and generation. Our experiments demonstrate that X-Fusion consistently outperforms alternative architectures on both image-to-text and text-to-image tasks. We find that incorporating understanding-focused data improves generation quality, reducing image data noise enhances overall performance, and feature alignment accelerates convergence for smaller models but has minimal impact on larger ones. Our findings provide valuable insights into building efficient unified multimodal models.