Jodi: Unificatie van visuele generatie en begrip via gezamenlijke modellering

Jodi: Unification of Visual Generation and Understanding via Joint Modeling

May 25, 2025

Auteurs: Yifeng Xu, Zhenliang He, Meina Kan, Shiguang Shan, Xilin Chen

cs.AI

Samenvatting

Visuele generatie en begrip zijn twee diep met elkaar verbonden aspecten van menselijke intelligentie, maar ze zijn traditioneel behandeld als afzonderlijke taken in machine learning. In dit artikel stellen we Jodi voor, een diffusiekader dat visuele generatie en begrip verenigt door gezamenlijk het beelddomein en meerdere labeldomeinen te modelleren. Specifiek is Jodi gebouwd op een lineaire diffusie-transformer in combinatie met een rolwisselmechanisme, waardoor het drie specifieke soorten taken kan uitvoeren: (1) gezamenlijke generatie, waarbij het model simultaan beelden en meerdere labels genereert; (2) controleerbare generatie, waarbij beelden worden gegenereerd op basis van elke combinatie van labels; en (3) beeldperceptie, waarbij meerdere labels tegelijk kunnen worden voorspeld vanuit een gegeven beeld. Daarnaast presenteren we de Joint-1.6M dataset, die 200.000 hoogwaardige beelden bevat die zijn verzameld uit openbare bronnen, automatisch gegenereerde labels voor 7 visuele domeinen, en door LLM gegenereerde bijschriften. Uitgebreide experimenten tonen aan dat Jodi uitblinkt in zowel generatie- als begriptaken en sterke uitbreidbaarheid vertoont naar een breder scala aan visuele domeinen. Code is beschikbaar op https://github.com/VIPL-GENUN/Jodi.

English

Visual generation and understanding are two deeply interconnected aspects of human intelligence, yet they have been traditionally treated as separate tasks in machine learning. In this paper, we propose Jodi, a diffusion framework that unifies visual generation and understanding by jointly modeling the image domain and multiple label domains. Specifically, Jodi is built upon a linear diffusion transformer along with a role switch mechanism, which enables it to perform three particular types of tasks: (1) joint generation, where the model simultaneously generates images and multiple labels; (2) controllable generation, where images are generated conditioned on any combination of labels; and (3) image perception, where multiple labels can be predicted at once from a given image. Furthermore, we present the Joint-1.6M dataset, which contains 200,000 high-quality images collected from public sources, automatic labels for 7 visual domains, and LLM-generated captions. Extensive experiments demonstrate that Jodi excels in both generation and understanding tasks and exhibits strong extensibility to a wider range of visual domains. Code is available at https://github.com/VIPL-GENUN/Jodi.