SONHO: Onde a Compreensão Visual Encontra a Geração de Imagens a Partir de Texto
DREAM: Where Visual Understanding Meets Text-to-Image Generation
March 3, 2026
Autores: Chao Li, Tianhong Li, Sai Vidyaranya Nuthalapati, Hong-You Chen, Satya Narayan Shukla, Yonghuan Yang, Jun Xiao, Xiangjun Fan, Aashu Singh, Dina Katabi, Shlok Kumar Mishra
cs.AI
Resumo
A unificação da aprendizagem de representações visuais e da geração de texto para imagem (T2I) num único modelo continua a ser um desafio central na aprendizagem multimodal. Apresentamos o DREAM, uma estrutura unificada que otimiza conjuntamente objetivos discriminativos e generativos, enquanto aprende representações visuais robustas. O DREAM é construído com base em duas técnicas fundamentais: Durante o treino, o *Masking Warmup*, uma programação de mascaramento progressivo, começa com um mascaramento mínimo para estabelecer o alinhamento contrastivo necessário para a aprendizagem de representações, transitando depois gradualmente para um mascaramento total para um treino generativo estável. Na inferência, o DREAM emprega o *Semantically Aligned Decoding* para alinhar candidatos de imagem parcialmente mascarados com o texto alvo e selecionar o melhor para uma descodificação adicional, melhorando a fidelidade texto-imagem (+6,3%) sem recurso a sistemas externos de reclassificação. Treinado exclusivamente com o conjunto CC12M, o DREAM atinge uma precisão de 72,7% em *linear-probing* no ImageNet (+1,1% face ao CLIP) e um FID de 4,25 (+6,2% face ao FLUID), com ganhos consistentes em classificação *few-shot*, segmentação semântica e estimativa de profundidade. Estes resultados demonstram que os objetivos discriminativos e generativos podem ser sinérgicos, permitindo modelos multimodais unificados que se destacam tanto na compreensão visual como na geração.
English
Unifying visual representation learning and text-to-image (T2I) generation within a single model remains a central challenge in multimodal learning. We introduce DREAM, a unified framework that jointly optimizes discriminative and generative objectives, while learning strong visual representations. DREAM is built on two key techniques: During training, Masking Warmup, a progressive masking schedule, begins with minimal masking to establish the contrastive alignment necessary for representation learning, then gradually transitions to full masking for stable generative training. At inference, DREAM employs Semantically Aligned Decoding to align partially masked image candidates with the target text and select the best one for further decoding, improving text-image fidelity (+6.3%) without external rerankers. Trained solely on CC12M, DREAM achieves 72.7% ImageNet linear-probing accuracy (+1.1% over CLIP) and an FID of 4.25 (+6.2% over FLUID), with consistent gains in few-shot classification, semantic segmentation, and depth estimation. These results demonstrate that discriminative and generative objectives can be synergistic, allowing unified multimodal models that excel at both visual understanding and generation.