JanusFlow: Гармонизация авторегрессии и выпрямленного потока для единого мультимодального понимания и генерации

JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

November 12, 2024

Авторы: Yiyang Ma, Xingchao Liu, Xiaokang Chen, Wen Liu, Chengyue Wu, Zhiyu Wu, Zizheng Pan, Zhenda Xie, Haowei Zhang, Xingkai yu, Liang Zhao, Yisong Wang, Jiaying Liu, Chong Ruan

cs.AI

Аннотация

Мы представляем JanusFlow, мощный фреймворк, объединяющий понимание и генерацию изображений в одной модели. JanusFlow представляет собой минималистичную архитектуру, которая интегрирует авторегрессивные языковые модели с прямым потоком, передовым методом в генеративном моделировании. Нашим ключевым результатом является демонстрация того, что прямой поток может быть легко обучен в рамках крупной языковой модели, что исключает необходимость в сложных архитектурных модификациях. Для дальнейшего улучшения производительности нашей объединенной модели мы применяем две ключевые стратегии: (i) разделение кодировщиков понимания и генерации, и (ii) выравнивание их представлений во время объединенного обучения. Обширные эксперименты показывают, что JanusFlow достигает сравнимой или превосходной производительности по сравнению с специализированными моделями в их соответствующих областях, превосходя существующие объединенные подходы на стандартных бенчмарках. Эта работа представляет собой шаг к более эффективным и универсальным моделям видео-языка.

English

We present JanusFlow, a powerful framework that unifies image understanding and generation in a single model. JanusFlow introduces a minimalist architecture that integrates autoregressive language models with rectified flow, a state-of-the-art method in generative modeling. Our key finding demonstrates that rectified flow can be straightforwardly trained within the large language model framework, eliminating the need for complex architectural modifications. To further improve the performance of our unified model, we adopt two key strategies: (i) decoupling the understanding and generation encoders, and (ii) aligning their representations during unified training. Extensive experiments show that JanusFlow achieves comparable or superior performance to specialized models in their respective domains, while significantly outperforming existing unified approaches across standard benchmarks. This work represents a step toward more efficient and versatile vision-language models.