Migliorare l'Addestramento di CLIP con Riscritture del Linguaggio

Improving CLIP Training with Language Rewrites

May 31, 2023

Autori: Lijie Fan, Dilip Krishnan, Phillip Isola, Dina Katabi, Yonglong Tian

cs.AI

Abstract

Il Contrastive Language-Image Pre-training (CLIP) rappresenta uno dei metodi più efficaci e scalabili per addestrare modelli di visione trasferibili utilizzando dati accoppiati di immagini e testo. I modelli CLIP vengono addestrati utilizzando una funzione di perdita contrastiva, che tipicamente si affida a tecniche di aumento dei dati per prevenire l'overfitting e l'utilizzo di scorciatoie. Tuttavia, nel paradigma di addestramento di CLIP, le tecniche di aumento dei dati vengono applicate esclusivamente agli input di immagini, mentre gli input di testo rimangono invariati durante l'intero processo di addestramento, limitando l'esposizione a testi diversi per la stessa immagine. In questo articolo, introduciamo il Language augmented CLIP (LaCLIP), un approccio semplice ma altamente efficace per migliorare l'addestramento di CLIP attraverso la riscrittura del testo. Sfruttando la capacità di apprendimento in contesto dei modelli linguistici di grandi dimensioni, riscriviamo le descrizioni testuali associate a ciascuna immagine. Questi testi riscritti presentano diversità nella struttura delle frasi e nel vocabolario, pur preservando i concetti chiave e i significati originali. Durante l'addestramento, LaCLIP seleziona casualmente i testi originali o le versioni riscritte come tecniche di aumento dei dati per ciascuna immagine. Esperimenti estesi sui dataset CC3M, CC12M, RedCaps e LAION-400M dimostrano che il pre-addestramento di CLIP con riscritture del testo migliora significativamente le prestazioni di trasferimento senza aumentare il costo computazionale o di memoria durante l'addestramento. In particolare, per l'accuratezza zero-shot su ImageNet, LaCLIP supera CLIP dell'8,2% su CC12M e del 2,4% su LAION-400M. Il codice è disponibile all'indirizzo https://github.com/LijieFan/LaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) stands as one of the most effective and scalable methods for training transferable vision models using paired image and text data. CLIP models are trained using contrastive loss, which typically relies on data augmentations to prevent overfitting and shortcuts. However, in the CLIP training paradigm, data augmentations are exclusively applied to image inputs, while language inputs remain unchanged throughout the entire training process, limiting the exposure of diverse texts to the same image. In this paper, we introduce Language augmented CLIP (LaCLIP), a simple yet highly effective approach to enhance CLIP training through language rewrites. Leveraging the in-context learning capability of large language models, we rewrite the text descriptions associated with each image. These rewritten texts exhibit diversity in sentence structure and vocabulary while preserving the original key concepts and meanings. During training, LaCLIP randomly selects either the original texts or the rewritten versions as text augmentations for each image. Extensive experiments on CC3M, CC12M, RedCaps and LAION-400M datasets show that CLIP pre-training with language rewrites significantly improves the transfer performance without computation or memory overhead during training. Specifically for ImageNet zero-shot accuracy, LaCLIP outperforms CLIP by 8.2% on CC12M and 2.4% on LAION-400M. Code is available at https://github.com/LijieFan/LaCLIP.