Aprender visión a partir de modelos rivaliza con aprender visión a partir de datos.

Learning Vision from Models Rivals Learning Vision from Data

December 28, 2023

Autores: Yonglong Tian, Lijie Fan, Kaifeng Chen, Dina Katabi, Dilip Krishnan, Phillip Isola

cs.AI

Resumen

Presentamos SynCLR, un enfoque novedoso para aprender representaciones visuales exclusivamente a partir de imágenes sintéticas y descripciones sintéticas, sin utilizar ningún dato real. Sintetizamos un gran conjunto de datos de descripciones de imágenes utilizando modelos de lenguaje (LLMs), luego empleamos un modelo estándar de texto a imagen para generar múltiples imágenes correspondientes a cada descripción sintética. Realizamos el aprendizaje de representaciones visuales en estas imágenes sintéticas mediante aprendizaje contrastivo, tratando las imágenes que comparten la misma descripción como pares positivos. Las representaciones resultantes se transfieren eficazmente a muchas tareas posteriores, compitiendo favorablemente con otros métodos de aprendizaje de representaciones visuales de propósito general, como CLIP y DINO v2, en tareas de clasificación de imágenes. Además, en tareas de predicción densa, como la segmentación semántica, SynCLR supera significativamente a métodos anteriores de auto-supervisión, por ejemplo, mejorando sobre MAE e iBOT en 6.2 y 4.3 mIoU respectivamente en ADE20k para ViT-B/16.

English

We introduce SynCLR, a novel approach for learning visual representations exclusively from synthetic images and synthetic captions, without any real data. We synthesize a large dataset of image captions using LLMs, then use an off-the-shelf text-to-image model to generate multiple images corresponding to each synthetic caption. We perform visual representation learning on these synthetic images via contrastive learning, treating images sharing the same caption as positive pairs. The resulting representations transfer well to many downstream tasks, competing favorably with other general-purpose visual representation learners such as CLIP and DINO v2 in image classification tasks. Furthermore, in dense prediction tasks such as semantic segmentation, SynCLR outperforms previous self-supervised methods by a significant margin, e.g., improving over MAE and iBOT by 6.2 and 4.3 mIoU on ADE20k for ViT-B/16.