Jodi: Vereinheitlichung von visueller Generierung und Verständnis durch gemeinsame Modellierung

Jodi: Unification of Visual Generation and Understanding via Joint Modeling

May 25, 2025

Autoren: Yifeng Xu, Zhenliang He, Meina Kan, Shiguang Shan, Xilin Chen

cs.AI

Zusammenfassung

Visuelle Erzeugung und Verständnis sind zwei tief miteinander verbundene Aspekte der menschlichen Intelligenz, wurden jedoch traditionell in der maschinellen Lernforschung als separate Aufgaben behandelt. In diesem Artikel stellen wir Jodi vor, ein Diffusionsframework, das visuelle Erzeugung und Verständnis vereint, indem es das Bildbereich und mehrere Labelbereiche gemeinsam modelliert. Konkret basiert Jodi auf einem linearen Diffusionstransformer in Kombination mit einem Rollenwechselmechanismus, der es ermöglicht, drei spezifische Aufgabentypen auszuführen: (1) gemeinsame Erzeugung, bei der das Modell gleichzeitig Bilder und mehrere Labels generiert; (2) kontrollierte Erzeugung, bei der Bilder basierend auf beliebigen Kombinationen von Labels erzeugt werden; und (3) Bildwahrnehmung, bei der mehrere Labels gleichzeitig aus einem gegebenen Bild vorhergesagt werden können. Darüber hinaus präsentieren wir den Joint-1.6M-Datensatz, der 200.000 hochwertige Bilder aus öffentlichen Quellen, automatisch generierte Labels für 7 visuelle Bereiche und LLM-generierte Bildbeschreibungen enthält. Umfangreiche Experimente zeigen, dass Jodi sowohl in Erzeugungs- als auch in Verständnisaufgaben hervorragende Leistungen erbringt und eine starke Erweiterbarkeit auf eine breitere Palette visueller Bereiche aufweist. Der Code ist verfügbar unter https://github.com/VIPL-GENUN/Jodi.

English

Visual generation and understanding are two deeply interconnected aspects of human intelligence, yet they have been traditionally treated as separate tasks in machine learning. In this paper, we propose Jodi, a diffusion framework that unifies visual generation and understanding by jointly modeling the image domain and multiple label domains. Specifically, Jodi is built upon a linear diffusion transformer along with a role switch mechanism, which enables it to perform three particular types of tasks: (1) joint generation, where the model simultaneously generates images and multiple labels; (2) controllable generation, where images are generated conditioned on any combination of labels; and (3) image perception, where multiple labels can be predicted at once from a given image. Furthermore, we present the Joint-1.6M dataset, which contains 200,000 high-quality images collected from public sources, automatic labels for 7 visual domains, and LLM-generated captions. Extensive experiments demonstrate that Jodi excels in both generation and understanding tasks and exhibits strong extensibility to a wider range of visual domains. Code is available at https://github.com/VIPL-GENUN/Jodi.