Amélioration de l'entraînement de CLIP grâce à la réécriture linguistique

Improving CLIP Training with Language Rewrites

May 31, 2023

Auteurs: Lijie Fan, Dilip Krishnan, Phillip Isola, Dina Katabi, Yonglong Tian

cs.AI

Résumé

Le pré-entraînement contrastif langue-image (CLIP) se positionne comme l'une des méthodes les plus efficaces et évolutives pour entraîner des modèles de vision transférables en utilisant des données appariées d'images et de texte. Les modèles CLIP sont entraînés en utilisant une perte contrastive, qui repose généralement sur des augmentations de données pour éviter le surajustement et les raccourcis. Cependant, dans le paradigme d'entraînement de CLIP, les augmentations de données sont exclusivement appliquées aux entrées d'images, tandis que les entrées de texte restent inchangées tout au long du processus d'entraînement, limitant ainsi l'exposition à des textes divers pour la même image. Dans cet article, nous présentons LaCLIP (Language augmented CLIP), une approche simple mais très efficace pour améliorer l'entraînement de CLIP grâce à des réécritures de texte. En exploitant la capacité d'apprentissage en contexte des grands modèles de langage, nous réécrivons les descriptions textuelles associées à chaque image. Ces textes réécrits présentent une diversité dans la structure des phrases et le vocabulaire tout en préservant les concepts clés et les significations originales. Pendant l'entraînement, LaCLIP sélectionne aléatoirement soit les textes originaux, soit les versions réécrites comme augmentations de texte pour chaque image. Des expériences approfondies sur les ensembles de données CC3M, CC12M, RedCaps et LAION-400M montrent que le pré-entraînement de CLIP avec des réécritures de texte améliore significativement les performances de transfert sans surcharge de calcul ou de mémoire pendant l'entraînement. Plus précisément, pour la précision zero-shot sur ImageNet, LaCLIP surpasse CLIP de 8,2 % sur CC12M et de 2,4 % sur LAION-400M. Le code est disponible à l'adresse https://github.com/LijieFan/LaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) stands as one of the most effective and scalable methods for training transferable vision models using paired image and text data. CLIP models are trained using contrastive loss, which typically relies on data augmentations to prevent overfitting and shortcuts. However, in the CLIP training paradigm, data augmentations are exclusively applied to image inputs, while language inputs remain unchanged throughout the entire training process, limiting the exposure of diverse texts to the same image. In this paper, we introduce Language augmented CLIP (LaCLIP), a simple yet highly effective approach to enhance CLIP training through language rewrites. Leveraging the in-context learning capability of large language models, we rewrite the text descriptions associated with each image. These rewritten texts exhibit diversity in sentence structure and vocabulary while preserving the original key concepts and meanings. During training, LaCLIP randomly selects either the original texts or the rewritten versions as text augmentations for each image. Extensive experiments on CC3M, CC12M, RedCaps and LAION-400M datasets show that CLIP pre-training with language rewrites significantly improves the transfer performance without computation or memory overhead during training. Specifically for ImageNet zero-shot accuracy, LaCLIP outperforms CLIP by 8.2% on CC12M and 2.4% on LAION-400M. Code is available at https://github.com/LijieFan/LaCLIP.