DREAM: Wo visuelles Verständnis auf Text-zu-Bild-Generierung trifft
DREAM: Where Visual Understanding Meets Text-to-Image Generation
March 3, 2026
Autoren: Chao Li, Tianhong Li, Sai Vidyaranya Nuthalapati, Hong-You Chen, Satya Narayan Shukla, Yonghuan Yang, Jun Xiao, Xiangjun Fan, Aashu Singh, Dina Katabi, Shlok Kumar Mishra
cs.AI
Zusammenfassung
Die Vereinheitlichung von visueller Repräsentationslernung und Text-zu-Bild (T2I) Generierung in einem einzigen Modell bleibt eine zentrale Herausforderung im multimodalen Lernen. Wir stellen DREAM vor, einen vereinheitlichten Rahmen, der diskriminative und generative Ziele gemeinsam optimiert und gleichzeitig starke visuelle Repräsentationen erlernt. DREAM basiert auf zwei Schlüsseltechniken: Während des Trainings beginnt Masking Warmup, ein progressiver Maskierungsplan, mit minimaler Maskierung, um die für das Repräsentationslernen notwendige kontrastive Ausrichtung zu etablieren, und geht dann schrittweise zu vollständiger Maskierung für ein stabiles generatives Training über. Zur Inferenzzeit setzt DREAM Semantically Aligned Decoding ein, um teilweise maskierte Bildkandidaten mit dem Zieltext abzugleichen und den besten für die weitere Dekodierung auszuwählen, was die Text-Bild-Treue (+6,3 %) ohne externe Nachsortierung verbessert. Ausschließlich auf CC12M trainiert, erreicht DREAM eine ImageNet Linear-Probing Genauigkeit von 72,7 % (+1,1 % gegenüber CLIP) und einen FID von 4,25 (+6,2 % gegenüber FLUID), mit konsistenten Verbesserungen bei Few-Shot-Klassifikation, semantischer Segmentierung und Tiefenschätzung. Diese Ergebnisse demonstrieren, dass diskriminative und generative Ziele synergetisch wirken können und so vereinheitlichte multimodale Modelle ermöglichen, die sowohl im visuellen Verständnis als auch in der Generierung hervorstechen.
English
Unifying visual representation learning and text-to-image (T2I) generation within a single model remains a central challenge in multimodal learning. We introduce DREAM, a unified framework that jointly optimizes discriminative and generative objectives, while learning strong visual representations. DREAM is built on two key techniques: During training, Masking Warmup, a progressive masking schedule, begins with minimal masking to establish the contrastive alignment necessary for representation learning, then gradually transitions to full masking for stable generative training. At inference, DREAM employs Semantically Aligned Decoding to align partially masked image candidates with the target text and select the best one for further decoding, improving text-image fidelity (+6.3%) without external rerankers. Trained solely on CC12M, DREAM achieves 72.7% ImageNet linear-probing accuracy (+1.1% over CLIP) and an FID of 4.25 (+6.2% over FLUID), with consistent gains in few-shot classification, semantic segmentation, and depth estimation. These results demonstrate that discriminative and generative objectives can be synergistic, allowing unified multimodal models that excel at both visual understanding and generation.