Jodi: Unificação da Geração e Compreensão Visual por meio de Modelagem Conjunta

Jodi: Unification of Visual Generation and Understanding via Joint Modeling

May 25, 2025

Autores: Yifeng Xu, Zhenliang He, Meina Kan, Shiguang Shan, Xilin Chen

cs.AI

Resumo

A geração e compreensão visual são dois aspectos profundamente interconectados da inteligência humana, mas tradicionalmente têm sido tratados como tarefas separadas no aprendizado de máquina. Neste artigo, propomos o Jodi, um framework de difusão que unifica a geração e compreensão visual ao modelar conjuntamente o domínio de imagens e múltiplos domínios de rótulos. Especificamente, o Jodi é construído sobre um transformer de difusão linear juntamente com um mecanismo de alternância de papéis, o que permite que ele execute três tipos particulares de tarefas: (1) geração conjunta, onde o modelo gera simultaneamente imagens e múltiplos rótulos; (2) geração controlada, onde as imagens são geradas condicionadas a qualquer combinação de rótulos; e (3) percepção de imagem, onde múltiplos rótulos podem ser previstos de uma vez a partir de uma imagem dada. Além disso, apresentamos o conjunto de dados Joint-1.6M, que contém 200.000 imagens de alta qualidade coletadas de fontes públicas, rótulos automáticos para 7 domínios visuais e legendas geradas por LLM. Experimentos extensivos demonstram que o Jodi se destaca tanto em tarefas de geração quanto de compreensão e exibe forte extensibilidade para uma gama mais ampla de domínios visuais. O código está disponível em https://github.com/VIPL-GENUN/Jodi.

English

Visual generation and understanding are two deeply interconnected aspects of human intelligence, yet they have been traditionally treated as separate tasks in machine learning. In this paper, we propose Jodi, a diffusion framework that unifies visual generation and understanding by jointly modeling the image domain and multiple label domains. Specifically, Jodi is built upon a linear diffusion transformer along with a role switch mechanism, which enables it to perform three particular types of tasks: (1) joint generation, where the model simultaneously generates images and multiple labels; (2) controllable generation, where images are generated conditioned on any combination of labels; and (3) image perception, where multiple labels can be predicted at once from a given image. Furthermore, we present the Joint-1.6M dataset, which contains 200,000 high-quality images collected from public sources, automatic labels for 7 visual domains, and LLM-generated captions. Extensive experiments demonstrate that Jodi excels in both generation and understanding tasks and exhibits strong extensibility to a wider range of visual domains. Code is available at https://github.com/VIPL-GENUN/Jodi.