CLIP-training verbeteren met taalherformuleringen

Improving CLIP Training with Language Rewrites

May 31, 2023

Auteurs: Lijie Fan, Dilip Krishnan, Phillip Isola, Dina Katabi, Yonglong Tian

cs.AI

Samenvatting

Contrastive Language-Image Pre-training (CLIP) geldt als een van de meest effectieve en schaalbare methoden voor het trainen van overdraagbare vision-modellen met behulp van gepaarde afbeelding- en tekstdata. CLIP-modellen worden getraind met contrastief verlies, wat doorgaans vertrouwt op data-augmentaties om overfitting en shortcuts te voorkomen. Echter, in het CLIP-trainingsparadigma worden data-augmentaties uitsluitend toegepast op afbeeldingsinputs, terwijl taalinputs gedurende het hele trainingsproces ongewijzigd blijven, wat de blootstelling aan diverse teksten voor dezelfde afbeelding beperkt. In dit artikel introduceren we Language augmented CLIP (LaCLIP), een eenvoudige maar zeer effectieve aanpak om CLIP-training te verbeteren door middel van taalherformuleringen. Door gebruik te maken van de in-context leer-capaciteit van grote taalmodellen, herformuleren we de tekstbeschrijvingen die bij elke afbeelding horen. Deze herschreven teksten vertonen diversiteit in zinsstructuur en vocabulaire, terwijl de oorspronkelijke kernconcepten en betekenissen behouden blijven. Tijdens de training selecteert LaCLIP willekeurig ofwel de originele teksten ofwel de herschreven versies als tekstaugmentaties voor elke afbeelding. Uitgebreide experimenten op de CC3M-, CC12M-, RedCaps- en LAION-400M-datasets tonen aan dat CLIP-pre-training met taalherformuleringen de overdraagprestaties aanzienlijk verbetert zonder reken- of geheugenoverhead tijdens de training. Specifiek voor ImageNet zero-shot nauwkeurigheid presteert LaCLIP 8,2% beter dan CLIP op CC12M en 2,4% op LAION-400M. Code is beschikbaar op https://github.com/LijieFan/LaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) stands as one of the most effective and scalable methods for training transferable vision models using paired image and text data. CLIP models are trained using contrastive loss, which typically relies on data augmentations to prevent overfitting and shortcuts. However, in the CLIP training paradigm, data augmentations are exclusively applied to image inputs, while language inputs remain unchanged throughout the entire training process, limiting the exposure of diverse texts to the same image. In this paper, we introduce Language augmented CLIP (LaCLIP), a simple yet highly effective approach to enhance CLIP training through language rewrites. Leveraging the in-context learning capability of large language models, we rewrite the text descriptions associated with each image. These rewritten texts exhibit diversity in sentence structure and vocabulary while preserving the original key concepts and meanings. During training, LaCLIP randomly selects either the original texts or the rewritten versions as text augmentations for each image. Extensive experiments on CC3M, CC12M, RedCaps and LAION-400M datasets show that CLIP pre-training with language rewrites significantly improves the transfer performance without computation or memory overhead during training. Specifically for ImageNet zero-shot accuracy, LaCLIP outperforms CLIP by 8.2% on CC12M and 2.4% on LAION-400M. Code is available at https://github.com/LijieFan/LaCLIP.