Jodi: Unificazione della Generazione e Comprensione Visiva tramite Modellazione Congiunta

Jodi: Unification of Visual Generation and Understanding via Joint Modeling

May 25, 2025

Autori: Yifeng Xu, Zhenliang He, Meina Kan, Shiguang Shan, Xilin Chen

cs.AI

Abstract

La generazione e la comprensione visiva sono due aspetti profondamente interconnessi dell'intelligenza umana, tuttavia sono stati tradizionalmente trattati come compiti separati nell'apprendimento automatico. In questo articolo, proponiamo Jodi, un framework di diffusione che unifica la generazione e la comprensione visiva modellando congiuntamente il dominio delle immagini e i domini di più etichette. Nello specifico, Jodi è costruito su un trasformatore di diffusione lineare insieme a un meccanismo di commutazione dei ruoli, che gli consente di eseguire tre tipi particolari di compiti: (1) generazione congiunta, in cui il modello genera simultaneamente immagini e più etichette; (2) generazione controllata, in cui le immagini vengono generate condizionate su qualsiasi combinazione di etichette; e (3) percezione delle immagini, in cui più etichette possono essere predette contemporaneamente da una data immagine. Inoltre, presentiamo il dataset Joint-1.6M, che contiene 200.000 immagini di alta qualità raccolte da fonti pubbliche, etichette automatiche per 7 domini visivi e didascalie generate da LLM. Esperimenti estensivi dimostrano che Jodi eccelle sia nei compiti di generazione che di comprensione e mostra una forte estensibilità a una gamma più ampia di domini visivi. Il codice è disponibile all'indirizzo https://github.com/VIPL-GENUN/Jodi.

English

Visual generation and understanding are two deeply interconnected aspects of human intelligence, yet they have been traditionally treated as separate tasks in machine learning. In this paper, we propose Jodi, a diffusion framework that unifies visual generation and understanding by jointly modeling the image domain and multiple label domains. Specifically, Jodi is built upon a linear diffusion transformer along with a role switch mechanism, which enables it to perform three particular types of tasks: (1) joint generation, where the model simultaneously generates images and multiple labels; (2) controllable generation, where images are generated conditioned on any combination of labels; and (3) image perception, where multiple labels can be predicted at once from a given image. Furthermore, we present the Joint-1.6M dataset, which contains 200,000 high-quality images collected from public sources, automatic labels for 7 visual domains, and LLM-generated captions. Extensive experiments demonstrate that Jodi excels in both generation and understanding tasks and exhibits strong extensibility to a wider range of visual domains. Code is available at https://github.com/VIPL-GENUN/Jodi.