JanusFlow: Armonizando Autoregresión y Flujo Rectificado para una Comprensión y Generación Multimodal Unificada

JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

November 12, 2024

Autores: Yiyang Ma, Xingchao Liu, Xiaokang Chen, Wen Liu, Chengyue Wu, Zhiyu Wu, Zizheng Pan, Zhenda Xie, Haowei Zhang, Xingkai yu, Liang Zhao, Yisong Wang, Jiaying Liu, Chong Ruan

cs.AI

Resumen

Presentamos JanusFlow, un marco poderoso que unifica la comprensión y generación de imágenes en un solo modelo. JanusFlow introduce una arquitectura minimalista que integra modelos de lenguaje autoregresivos con flujo rectificado, un método de vanguardia en modelado generativo. Nuestro hallazgo clave demuestra que el flujo rectificado puede ser entrenado de manera sencilla dentro del marco del gran modelo de lenguaje, eliminando la necesidad de modificaciones arquitectónicas complejas. Para mejorar aún más el rendimiento de nuestro modelo unificado, adoptamos dos estrategias clave: (i) desacoplar los codificadores de comprensión y generación, y (ii) alinear sus representaciones durante el entrenamiento unificado. Experimentos extensos muestran que JanusFlow logra un rendimiento comparable o superior a modelos especializados en sus respectivos dominios, mientras supera significativamente a enfoques unificados existentes en los benchmarks estándar. Este trabajo representa un paso hacia modelos visión-lenguaje más eficientes y versátiles.

English

We present JanusFlow, a powerful framework that unifies image understanding and generation in a single model. JanusFlow introduces a minimalist architecture that integrates autoregressive language models with rectified flow, a state-of-the-art method in generative modeling. Our key finding demonstrates that rectified flow can be straightforwardly trained within the large language model framework, eliminating the need for complex architectural modifications. To further improve the performance of our unified model, we adopt two key strategies: (i) decoupling the understanding and generation encoders, and (ii) aligning their representations during unified training. Extensive experiments show that JanusFlow achieves comparable or superior performance to specialized models in their respective domains, while significantly outperforming existing unified approaches across standard benchmarks. This work represents a step toward more efficient and versatile vision-language models.