DREAM: Dove la comprensione visiva incontra la generazione di immagini da testo
DREAM: Where Visual Understanding Meets Text-to-Image Generation
March 3, 2026
Autori: Chao Li, Tianhong Li, Sai Vidyaranya Nuthalapati, Hong-You Chen, Satya Narayan Shukla, Yonghuan Yang, Jun Xiao, Xiangjun Fan, Aashu Singh, Dina Katabi, Shlok Kumar Mishra
cs.AI
Abstract
L'unificazione dell'apprendimento di rappresentazioni visive e della generazione testo-immagine (T2I) all'interno di un singolo modello rimane una sfida centrale nell'apprendimento multimodale. Presentiamo DREAM, un framework unificato che ottimizza congiuntamente obiettivi discriminativi e generativi, apprendendo al contempo rappresentazioni visive solide. DREAM si basa su due tecniche chiave: durante l'addestramento, il Masking Warmup, una schedulatura di mascheramento progressivo, inizia con un mascheramento minimo per stabilire l'allineamento contrastivo necessario per l'apprendimento di rappresentazioni, per poi passare gradualmente al mascheramento completo per un addestramento generativo stabile. In fase di inferenza, DREAM utilizza il Semantically Aligned Decoding per allineare i candidati di immagine parzialmente mascherati con il testo target e selezionare il migliore per un'ulteriore decodifica, migliorando la fedeltà testo-immagine (+6,3%) senza ricorrere a sistemi esterni di reranking. Addestrato esclusivamente su CC12M, DREAM raggiunge un'accuratezza di linear probing su ImageNet del 72,7% (+1,1% rispetto a CLIP) e un FID di 4,25 (+6,2% rispetto a FLUID), con miglioramenti consistenti nella classificazione few-shot, nella segmentazione semantica e nella stima della profondità. Questi risultati dimostrano che gli obiettivi discriminativi e generativi possono essere sinergici, permettendo la creazione di modelli multimodali unificati che eccellono sia nella comprensione visiva che nella generazione.
English
Unifying visual representation learning and text-to-image (T2I) generation within a single model remains a central challenge in multimodal learning. We introduce DREAM, a unified framework that jointly optimizes discriminative and generative objectives, while learning strong visual representations. DREAM is built on two key techniques: During training, Masking Warmup, a progressive masking schedule, begins with minimal masking to establish the contrastive alignment necessary for representation learning, then gradually transitions to full masking for stable generative training. At inference, DREAM employs Semantically Aligned Decoding to align partially masked image candidates with the target text and select the best one for further decoding, improving text-image fidelity (+6.3%) without external rerankers. Trained solely on CC12M, DREAM achieves 72.7% ImageNet linear-probing accuracy (+1.1% over CLIP) and an FID of 4.25 (+6.2% over FLUID), with consistent gains in few-shot classification, semantic segmentation, and depth estimation. These results demonstrate that discriminative and generative objectives can be synergistic, allowing unified multimodal models that excel at both visual understanding and generation.