Jodi : Unification de la génération visuelle et de la compréhension par modélisation conjointe
Jodi: Unification of Visual Generation and Understanding via Joint Modeling
May 25, 2025
Auteurs: Yifeng Xu, Zhenliang He, Meina Kan, Shiguang Shan, Xilin Chen
cs.AI
Résumé
La génération visuelle et la compréhension visuelle sont deux aspects profondément interconnectés de l'intelligence humaine, mais ils ont traditionnellement été traités comme des tâches distinctes dans l'apprentissage automatique. Dans cet article, nous proposons Jodi, un cadre de diffusion qui unifie la génération visuelle et la compréhension en modélisant conjointement le domaine des images et plusieurs domaines d'étiquettes. Plus précisément, Jodi est construit sur un transformateur de diffusion linéaire accompagné d'un mécanisme de commutation de rôles, ce qui lui permet d'exécuter trois types de tâches particulières : (1) la génération conjointe, où le modèle génère simultanément des images et plusieurs étiquettes ; (2) la génération contrôlée, où les images sont générées en fonction de n'importe quelle combinaison d'étiquettes ; et (3) la perception d'image, où plusieurs étiquettes peuvent être prédites à partir d'une image donnée. Par ailleurs, nous présentons le jeu de données Joint-1.6M, qui contient 200 000 images de haute qualité collectées à partir de sources publiques, des étiquettes automatiques pour 7 domaines visuels, et des légendes générées par des modèles de langage (LLM). Des expériences approfondies démontrent que Jodi excelle à la fois dans les tâches de génération et de compréhension et présente une forte extensibilité à un éventail plus large de domaines visuels. Le code est disponible à l'adresse suivante : https://github.com/VIPL-GENUN/Jodi.
English
Visual generation and understanding are two deeply interconnected aspects of
human intelligence, yet they have been traditionally treated as separate tasks
in machine learning. In this paper, we propose Jodi, a diffusion framework that
unifies visual generation and understanding by jointly modeling the image
domain and multiple label domains. Specifically, Jodi is built upon a linear
diffusion transformer along with a role switch mechanism, which enables it to
perform three particular types of tasks: (1) joint generation, where the model
simultaneously generates images and multiple labels; (2) controllable
generation, where images are generated conditioned on any combination of
labels; and (3) image perception, where multiple labels can be predicted at
once from a given image. Furthermore, we present the Joint-1.6M dataset, which
contains 200,000 high-quality images collected from public sources, automatic
labels for 7 visual domains, and LLM-generated captions. Extensive experiments
demonstrate that Jodi excels in both generation and understanding tasks and
exhibits strong extensibility to a wider range of visual domains. Code is
available at https://github.com/VIPL-GENUN/Jodi.Summary
AI-Generated Summary