Jodi: Объединение задач визуальной генерации и понимания через совместное моделирование

Jodi: Unification of Visual Generation and Understanding via Joint Modeling

May 25, 2025

Авторы: Yifeng Xu, Zhenliang He, Meina Kan, Shiguang Shan, Xilin Chen

cs.AI

Аннотация

Визуальное создание и понимание являются двумя глубоко взаимосвязанными аспектами человеческого интеллекта, однако в машинном обучении они традиционно рассматривались как отдельные задачи. В данной статье мы предлагаем Jodi — диффузионную модель, которая объединяет визуальное создание и понимание за счет совместного моделирования области изображений и множества областей меток. В частности, Jodi построена на основе линейного диффузионного трансформера с механизмом переключения ролей, что позволяет ей выполнять три специфических типа задач: (1) совместное создание, при котором модель одновременно генерирует изображения и несколько меток; (2) управляемое создание, при котором изображения генерируются на основе любой комбинации меток; и (3) восприятие изображений, при котором из заданного изображения одновременно предсказываются несколько меток. Кроме того, мы представляем набор данных Joint-1.6M, содержащий 200 000 высококачественных изображений, собранных из открытых источников, автоматически сгенерированные метки для 7 визуальных областей и подписи, созданные с помощью языковых моделей. Многочисленные эксперименты демонстрируют, что Jodi превосходно справляется как с задачами создания, так и с задачами понимания, а также проявляет высокую расширяемость для более широкого спектра визуальных областей. Код доступен по адресу https://github.com/VIPL-GENUN/Jodi.

English

Visual generation and understanding are two deeply interconnected aspects of human intelligence, yet they have been traditionally treated as separate tasks in machine learning. In this paper, we propose Jodi, a diffusion framework that unifies visual generation and understanding by jointly modeling the image domain and multiple label domains. Specifically, Jodi is built upon a linear diffusion transformer along with a role switch mechanism, which enables it to perform three particular types of tasks: (1) joint generation, where the model simultaneously generates images and multiple labels; (2) controllable generation, where images are generated conditioned on any combination of labels; and (3) image perception, where multiple labels can be predicted at once from a given image. Furthermore, we present the Joint-1.6M dataset, which contains 200,000 high-quality images collected from public sources, automatic labels for 7 visual domains, and LLM-generated captions. Extensive experiments demonstrate that Jodi excels in both generation and understanding tasks and exhibits strong extensibility to a wider range of visual domains. Code is available at https://github.com/VIPL-GENUN/Jodi.