Jodi : Unification de la génération visuelle et de la compréhension par modélisation conjointe

Jodi: Unification of Visual Generation and Understanding via Joint Modeling

May 25, 2025

Auteurs: Yifeng Xu, Zhenliang He, Meina Kan, Shiguang Shan, Xilin Chen

cs.AI

Résumé

La génération visuelle et la compréhension visuelle sont deux aspects profondément interconnectés de l'intelligence humaine, mais ils ont traditionnellement été traités comme des tâches distinctes dans l'apprentissage automatique. Dans cet article, nous proposons Jodi, un cadre de diffusion qui unifie la génération visuelle et la compréhension en modélisant conjointement le domaine des images et plusieurs domaines d'étiquettes. Plus précisément, Jodi est construit sur un transformateur de diffusion linéaire accompagné d'un mécanisme de commutation de rôles, ce qui lui permet d'exécuter trois types de tâches particulières : (1) la génération conjointe, où le modèle génère simultanément des images et plusieurs étiquettes ; (2) la génération contrôlée, où les images sont générées en fonction de n'importe quelle combinaison d'étiquettes ; et (3) la perception d'image, où plusieurs étiquettes peuvent être prédites à partir d'une image donnée. Par ailleurs, nous présentons le jeu de données Joint-1.6M, qui contient 200 000 images de haute qualité collectées à partir de sources publiques, des étiquettes automatiques pour 7 domaines visuels, et des légendes générées par des modèles de langage (LLM). Des expériences approfondies démontrent que Jodi excelle à la fois dans les tâches de génération et de compréhension et présente une forte extensibilité à un éventail plus large de domaines visuels. Le code est disponible à l'adresse suivante : https://github.com/VIPL-GENUN/Jodi.

English

Visual generation and understanding are two deeply interconnected aspects of human intelligence, yet they have been traditionally treated as separate tasks in machine learning. In this paper, we propose Jodi, a diffusion framework that unifies visual generation and understanding by jointly modeling the image domain and multiple label domains. Specifically, Jodi is built upon a linear diffusion transformer along with a role switch mechanism, which enables it to perform three particular types of tasks: (1) joint generation, where the model simultaneously generates images and multiple labels; (2) controllable generation, where images are generated conditioned on any combination of labels; and (3) image perception, where multiple labels can be predicted at once from a given image. Furthermore, we present the Joint-1.6M dataset, which contains 200,000 high-quality images collected from public sources, automatic labels for 7 visual domains, and LLM-generated captions. Extensive experiments demonstrate that Jodi excels in both generation and understanding tasks and exhibits strong extensibility to a wider range of visual domains. Code is available at https://github.com/VIPL-GENUN/Jodi.