JanusFlow: Harmonizando Autoregressão e Fluxo Retificado para Compreensão e Geração Multimodal Unificadas

JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

November 12, 2024

Autores: Yiyang Ma, Xingchao Liu, Xiaokang Chen, Wen Liu, Chengyue Wu, Zhiyu Wu, Zizheng Pan, Zhenda Xie, Haowei Zhang, Xingkai yu, Liang Zhao, Yisong Wang, Jiaying Liu, Chong Ruan

cs.AI

Resumo

Apresentamos JanusFlow, um framework poderoso que unifica a compreensão e geração de imagens em um único modelo. JanusFlow introduz uma arquitetura minimalista que integra modelos de linguagem autoregressivos com fluxo retificado, um método de ponta em modelagem generativa. Nosso principal achado demonstra que o fluxo retificado pode ser treinado de forma direta dentro do framework do grande modelo de linguagem, eliminando a necessidade de modificações arquiteturais complexas. Para melhorar ainda mais o desempenho de nosso modelo unificado, adotamos duas estratégias-chave: (i) desacoplar os codificadores de compreensão e geração, e (ii) alinhar suas representações durante o treinamento unificado. Experimentos extensos mostram que JanusFlow alcança desempenho comparável ou superior a modelos especializados em seus respectivos domínios, enquanto supera significativamente abordagens unificadas existentes em benchmarks padrão. Este trabalho representa um passo em direção a modelos visão-linguagem mais eficientes e versáteis.

English

We present JanusFlow, a powerful framework that unifies image understanding and generation in a single model. JanusFlow introduces a minimalist architecture that integrates autoregressive language models with rectified flow, a state-of-the-art method in generative modeling. Our key finding demonstrates that rectified flow can be straightforwardly trained within the large language model framework, eliminating the need for complex architectural modifications. To further improve the performance of our unified model, we adopt two key strategies: (i) decoupling the understanding and generation encoders, and (ii) aligning their representations during unified training. Extensive experiments show that JanusFlow achieves comparable or superior performance to specialized models in their respective domains, while significantly outperforming existing unified approaches across standard benchmarks. This work represents a step toward more efficient and versatile vision-language models.