DROMEN: Waar Visueel Begrip en Tekst-naar-Beeld Generatie Samenkomen
DREAM: Where Visual Understanding Meets Text-to-Image Generation
March 3, 2026
Auteurs: Chao Li, Tianhong Li, Sai Vidyaranya Nuthalapati, Hong-You Chen, Satya Narayan Shukla, Yonghuan Yang, Jun Xiao, Xiangjun Fan, Aashu Singh, Dina Katabi, Shlok Kumar Mishra
cs.AI
Samenvatting
Het verenigen van visuele representatieleren en tekst-naar-beeld (T2I) generatie binnen één enkel model blijft een centrale uitdaging in multimodaal leren. Wij introduceren DREAM, een uniform raamwerk dat discriminatieve en generatieve doelstellingen gezamenlijk optimaliseert, terwijl het sterke visuele representaties leert. DREAM is gebouwd op twee kerntechnieken: Tijdens de training begint Masking Warmup, een progressief maskeringsschema, met minimale maskering om de contrastieve uitlijning die nodig is voor representatieleren tot stand te brengen, en gaat vervolgens geleidelijk over naar volledige maskering voor stabiele generatieve training. Tijdens de inferentie gebruikt DREAM Semantically Aligned Decoding om gedeeltelijk gemaskeerde beeldkandidaten uit te lijnen met de doeltekst en de beste te selecteren voor verdere decodering, wat de tekst-beeldtrouw verbetert (+6,3%) zonder externe herrangschikkers. Uitsluitend getraind op CC12M behaalt DREAM een ImageNet lineair-probing nauwkeurigheid van 72,7% (+1,1% ten opzichte van CLIP) en een FID van 4,25 (+6,2% ten opzichte van FLUID), met consistente verbeteringen in few-shot classificatie, semantische segmentatie en diepteschatting. Deze resultaten tonen aan dat discriminatieve en generatieve doelstellingen synergetisch kunnen zijn, waardoor uniforme multimodale modellen mogelijk worden die uitblinken in zowel visueel begrip als generatie.
English
Unifying visual representation learning and text-to-image (T2I) generation within a single model remains a central challenge in multimodal learning. We introduce DREAM, a unified framework that jointly optimizes discriminative and generative objectives, while learning strong visual representations. DREAM is built on two key techniques: During training, Masking Warmup, a progressive masking schedule, begins with minimal masking to establish the contrastive alignment necessary for representation learning, then gradually transitions to full masking for stable generative training. At inference, DREAM employs Semantically Aligned Decoding to align partially masked image candidates with the target text and select the best one for further decoding, improving text-image fidelity (+6.3%) without external rerankers. Trained solely on CC12M, DREAM achieves 72.7% ImageNet linear-probing accuracy (+1.1% over CLIP) and an FID of 4.25 (+6.2% over FLUID), with consistent gains in few-shot classification, semantic segmentation, and depth estimation. These results demonstrate that discriminative and generative objectives can be synergistic, allowing unified multimodal models that excel at both visual understanding and generation.