UniFork: Exploración de la Alineación de Modalidades para la Comprensión y Generación Multimodal Unificada

UniFork: Exploring Modality Alignment for Unified Multimodal Understanding and Generation

June 20, 2025

Autores: Teng Li, Quanfeng Lu, Lirui Zhao, Hao Li, Xizhou Zhu, Yu Qiao, Jun Zhang, Wenqi Shao

cs.AI

Resumen

La comprensión y generación unificada de imágenes ha surgido como un paradigma prometedor en la inteligencia artificial multimodal. A pesar de los avances recientes, el diseño arquitectónico óptimo para tales modelos unificados sigue siendo un desafío abierto. En este trabajo, comenzamos analizando los comportamientos de alineación de modalidades en modelos expertos específicos para tareas de comprensión y generación, así como en los modelos unificados actuales. Nuestro análisis revela una observación crucial: las tareas de comprensión se benefician de una alineación de modalidades que aumenta progresivamente a lo largo de la profundidad de la red, lo que ayuda a construir información semántica para una mejor comprensión; en contraste, las tareas de generación siguen una tendencia diferente: la alineación de modalidades aumenta en las capas iniciales pero disminuye en las capas profundas para recuperar detalles espaciales. Estos patrones divergentes de alineación crean un conflicto fundamental en los backbones de Transformer completamente compartidos, donde un flujo representacional uniforme a menudo conduce a compromisos de rendimiento en ambas tareas. Motivados por este hallazgo, presentamos UniFork, una arquitectura novedosa en forma de Y que comparte las capas superficiales para el aprendizaje de representaciones entre tareas, mientras emplea ramas específicas para cada tarea en las capas más profundas para evitar interferencias entre tareas. Este diseño equilibra eficazmente el aprendizaje compartido y la especialización por tarea. A través de extensos experimentos de ablación, demostramos que UniFork supera consistentemente a las arquitecturas convencionales de Transformer completamente compartidas, y logra un rendimiento igual o mejor que los modelos específicos para cada tarea.

English

Unified image understanding and generation has emerged as a promising paradigm in multimodal artificial intelligence. Despite recent progress, the optimal architectural design for such unified models remains an open challenge. In this work, we start by analyzing the modality alignment behaviors of task-specific expert models for understanding and generation, as well as current unified models. Our analysis reveals a crucial observation: understanding tasks benefit from a progressively increasing modality alignment across network depth, which helps build up semantic information for better comprehension; In contrast, generation tasks follow a different trend: modality alignment increases in the early layers but decreases in the deep layers to recover spatial details. These divergent alignment patterns create a fundamental conflict in fully shared Transformer backbones, where a uniform representational flow often leads to performance compromises across two tasks. Motivated by this finding, we introduce UniFork, a novel Y-shaped architecture that shares the shallow layers for cross-task representation learning, while employing task-specific branches in deeper layers to avoid task interference. This design effectively balances shared learning and task specialization. Through extensive ablation experiments, we demonstrate that Unifork consistently outperforms conventional fully shared Transformer architectures, and achieves performance on par with or better than task-specific models.