Imparare la visione dai modelli rivaleggia con l'apprendimento della visione dai dati
Learning Vision from Models Rivals Learning Vision from Data
December 28, 2023
Autori: Yonglong Tian, Lijie Fan, Kaifeng Chen, Dina Katabi, Dilip Krishnan, Phillip Isola
cs.AI
Abstract
Presentiamo SynCLR, un approccio innovativo per l'apprendimento di rappresentazioni visive esclusivamente da immagini sintetiche e didascalie sintetiche, senza l'utilizzo di dati reali. Sintetizziamo un ampio dataset di didascalie per immagini utilizzando modelli linguistici di grandi dimensioni (LLM), per poi generare più immagini corrispondenti a ciascuna didascalia sintetica mediante un modello predefinito di testo-immagine. Eseguiamo l'apprendimento di rappresentazioni visive su queste immagini sintetiche attraverso l'apprendimento contrastivo, trattando le immagini che condividono la stessa didascalia come coppie positive. Le rappresentazioni risultanti si trasferiscono efficacemente a molte attività downstream, competendo favorevolmente con altri metodi general-purpose per l'apprendimento di rappresentazioni visive come CLIP e DINO v2 nelle attività di classificazione delle immagini. Inoltre, in attività di predizione densa come la segmentazione semantica, SynCLR supera significativamente i precedenti metodi auto-supervisionati, ad esempio migliorando di 6,2 e 4,3 mIoU rispetto a MAE e iBOT su ADE20k per ViT-B/16.
English
We introduce SynCLR, a novel approach for learning visual representations
exclusively from synthetic images and synthetic captions, without any real
data. We synthesize a large dataset of image captions using LLMs, then use an
off-the-shelf text-to-image model to generate multiple images corresponding to
each synthetic caption. We perform visual representation learning on these
synthetic images via contrastive learning, treating images sharing the same
caption as positive pairs. The resulting representations transfer well to many
downstream tasks, competing favorably with other general-purpose visual
representation learners such as CLIP and DINO v2 in image classification tasks.
Furthermore, in dense prediction tasks such as semantic segmentation, SynCLR
outperforms previous self-supervised methods by a significant margin, e.g.,
improving over MAE and iBOT by 6.2 and 4.3 mIoU on ADE20k for ViT-B/16.