DREAM: Donde la comprensión visual se encuentra con la generación de imágenes a partir de texto
DREAM: Where Visual Understanding Meets Text-to-Image Generation
March 3, 2026
Autores: Chao Li, Tianhong Li, Sai Vidyaranya Nuthalapati, Hong-You Chen, Satya Narayan Shukla, Yonghuan Yang, Jun Xiao, Xiangjun Fan, Aashu Singh, Dina Katabi, Shlok Kumar Mishra
cs.AI
Resumen
La unificación del aprendizaje de representaciones visuales y la generación de texto a imagen (T2I) en un único modelo sigue siendo un desafío central en el aprendizaje multimodal. Presentamos DREAM, un marco unificado que optimiza conjuntamente objetivos discriminativos y generativos, mientras aprende representaciones visuales sólidas. DREAM se basa en dos técnicas clave: Durante el entrenamiento, el *Masking Warmup*, un programa de enmascaramiento progresivo, comienza con un enmascaramiento mínimo para establecer la alineación contrastiva necesaria para el aprendizaje de representaciones, y luego transita gradualmente hacia un enmascaramiento total para un entrenamiento generativo estable. En la inferencia, DREAM emplea el *Semantically Aligned Decoding* para alinear candidatos de imagen parcialmente enmascarados con el texto objetivo y seleccionar el mejor para un decodificado posterior, mejorando la fidelidad texto-imagen (+6.3%) sin rerankers externos. Entrenado únicamente con CC12M, DREAM alcanza un 72.7% de precisión en *linear-probing* en ImageNet (+1.1% sobre CLIP) y un FID de 4.25 (+6.2% sobre FLUID), con ganancias consistentes en clasificación *few-shot*, segmentación semántica y estimación de profundidad. Estos resultados demuestran que los objetivos discriminativos y generativos pueden ser sinérgicos, permitiendo modelos multimodales unificados que sobresalen tanto en comprensión visual como en generación.
English
Unifying visual representation learning and text-to-image (T2I) generation within a single model remains a central challenge in multimodal learning. We introduce DREAM, a unified framework that jointly optimizes discriminative and generative objectives, while learning strong visual representations. DREAM is built on two key techniques: During training, Masking Warmup, a progressive masking schedule, begins with minimal masking to establish the contrastive alignment necessary for representation learning, then gradually transitions to full masking for stable generative training. At inference, DREAM employs Semantically Aligned Decoding to align partially masked image candidates with the target text and select the best one for further decoding, improving text-image fidelity (+6.3%) without external rerankers. Trained solely on CC12M, DREAM achieves 72.7% ImageNet linear-probing accuracy (+1.1% over CLIP) and an FID of 4.25 (+6.2% over FLUID), with consistent gains in few-shot classification, semantic segmentation, and depth estimation. These results demonstrate that discriminative and generative objectives can be synergistic, allowing unified multimodal models that excel at both visual understanding and generation.