Jodi: Unificación de la Generación Visual y la Comprensión mediante Modelado Conjunto

Jodi: Unification of Visual Generation and Understanding via Joint Modeling

May 25, 2025

Autores: Yifeng Xu, Zhenliang He, Meina Kan, Shiguang Shan, Xilin Chen

cs.AI

Resumen

La generación y comprensión visual son dos aspectos profundamente interconectados de la inteligencia humana, aunque tradicionalmente se han tratado como tareas separadas en el aprendizaje automático. En este artículo, proponemos Jodi, un marco de difusión que unifica la generación y comprensión visual mediante el modelado conjunto del dominio de imágenes y múltiples dominios de etiquetas. Específicamente, Jodi se basa en un transformador de difusión lineal junto con un mecanismo de cambio de roles, lo que le permite realizar tres tipos particulares de tareas: (1) generación conjunta, donde el modelo genera simultáneamente imágenes y múltiples etiquetas; (2) generación controlada, donde las imágenes se generan condicionadas a cualquier combinación de etiquetas; y (3) percepción de imágenes, donde se pueden predecir múltiples etiquetas a la vez a partir de una imagen dada. Además, presentamos el conjunto de datos Joint-1.6M, que contiene 200,000 imágenes de alta calidad recopiladas de fuentes públicas, etiquetas automáticas para 7 dominios visuales y subtítulos generados por LLM. Experimentos exhaustivos demuestran que Jodi sobresale tanto en tareas de generación como de comprensión y exhibe una fuerte extensibilidad a una gama más amplia de dominios visuales. El código está disponible en https://github.com/VIPL-GENUN/Jodi.

English

Visual generation and understanding are two deeply interconnected aspects of human intelligence, yet they have been traditionally treated as separate tasks in machine learning. In this paper, we propose Jodi, a diffusion framework that unifies visual generation and understanding by jointly modeling the image domain and multiple label domains. Specifically, Jodi is built upon a linear diffusion transformer along with a role switch mechanism, which enables it to perform three particular types of tasks: (1) joint generation, where the model simultaneously generates images and multiple labels; (2) controllable generation, where images are generated conditioned on any combination of labels; and (3) image perception, where multiple labels can be predicted at once from a given image. Furthermore, we present the Joint-1.6M dataset, which contains 200,000 high-quality images collected from public sources, automatic labels for 7 visual domains, and LLM-generated captions. Extensive experiments demonstrate that Jodi excels in both generation and understanding tasks and exhibits strong extensibility to a wider range of visual domains. Code is available at https://github.com/VIPL-GENUN/Jodi.