Aprender Visão a partir de Modelos Rivaliza com Aprender Visão a partir de Dados

Learning Vision from Models Rivals Learning Vision from Data

December 28, 2023

Autores: Yonglong Tian, Lijie Fan, Kaifeng Chen, Dina Katabi, Dilip Krishnan, Phillip Isola

cs.AI

Resumo

Apresentamos o SynCLR, uma abordagem inovadora para o aprendizado de representações visuais exclusivamente a partir de imagens sintéticas e legendas sintéticas, sem o uso de dados reais. Sintetizamos um grande conjunto de dados de legendas de imagens utilizando LLMs (Large Language Models) e, em seguida, empregamos um modelo pronto para uso de texto para imagem para gerar múltiplas imagens correspondentes a cada legenda sintética. Realizamos o aprendizado de representações visuais nessas imagens sintéticas por meio de aprendizado contrastivo, tratando imagens que compartilham a mesma legenda como pares positivos. As representações resultantes transferem-se bem para diversas tarefas subsequentes, competindo favoravelmente com outros métodos de aprendizado de representações visuais de propósito geral, como CLIP e DINO v2, em tarefas de classificação de imagens. Além disso, em tarefas de predição densa, como segmentação semântica, o SynCLR supera métodos anteriores de auto-supervisão por uma margem significativa, por exemplo, melhorando em 6,2 e 4,3 mIoU sobre MAE e iBOT no conjunto de dados ADE20k para ViT-B/16.

English

We introduce SynCLR, a novel approach for learning visual representations exclusively from synthetic images and synthetic captions, without any real data. We synthesize a large dataset of image captions using LLMs, then use an off-the-shelf text-to-image model to generate multiple images corresponding to each synthetic caption. We perform visual representation learning on these synthetic images via contrastive learning, treating images sharing the same caption as positive pairs. The resulting representations transfer well to many downstream tasks, competing favorably with other general-purpose visual representation learners such as CLIP and DINO v2 in image classification tasks. Furthermore, in dense prediction tasks such as semantic segmentation, SynCLR outperforms previous self-supervised methods by a significant margin, e.g., improving over MAE and iBOT by 6.2 and 4.3 mIoU on ADE20k for ViT-B/16.