Melhorando o Treinamento do CLIP com Reescrevendo a Linguagem

Improving CLIP Training with Language Rewrites

May 31, 2023

Autores: Lijie Fan, Dilip Krishnan, Phillip Isola, Dina Katabi, Yonglong Tian

cs.AI

Resumo

O Pré-treinamento Contrastivo de Linguagem e Imagem (CLIP) se destaca como um dos métodos mais eficazes e escaláveis para treinar modelos de visão transferíveis utilizando dados pareados de imagem e texto. Os modelos CLIP são treinados usando perda contrastiva, que normalmente depende de aumentos de dados para evitar sobreajuste e atalhos. No entanto, no paradigma de treinamento do CLIP, os aumentos de dados são aplicados exclusivamente às entradas de imagem, enquanto as entradas de linguagem permanecem inalteradas durante todo o processo de treinamento, limitando a exposição de textos diversos à mesma imagem. Neste artigo, apresentamos o CLIP Aumentado por Linguagem (LaCLIP), uma abordagem simples, mas altamente eficaz, para aprimorar o treinamento do CLIP por meio de reescritas de linguagem. Aproveitando a capacidade de aprendizado em contexto de grandes modelos de linguagem, reescrevemos as descrições de texto associadas a cada imagem. Esses textos reescritos exibem diversidade na estrutura de frases e no vocabulário, preservando os conceitos e significados originais. Durante o treinamento, o LaCLIP seleciona aleatoriamente os textos originais ou as versões reescritas como aumentos de texto para cada imagem. Experimentos extensivos nos conjuntos de dados CC3M, CC12M, RedCaps e LAION-400M mostram que o pré-treinamento do CLIP com reescritas de linguagem melhora significativamente o desempenho de transferência sem sobrecarga de computação ou memória durante o treinamento. Especificamente, para a precisão zero-shot no ImageNet, o LaCLIP supera o CLIP em 8,2% no CC12M e 2,4% no LAION-400M. O código está disponível em https://github.com/LijieFan/LaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) stands as one of the most effective and scalable methods for training transferable vision models using paired image and text data. CLIP models are trained using contrastive loss, which typically relies on data augmentations to prevent overfitting and shortcuts. However, in the CLIP training paradigm, data augmentations are exclusively applied to image inputs, while language inputs remain unchanged throughout the entire training process, limiting the exposure of diverse texts to the same image. In this paper, we introduce Language augmented CLIP (LaCLIP), a simple yet highly effective approach to enhance CLIP training through language rewrites. Leveraging the in-context learning capability of large language models, we rewrite the text descriptions associated with each image. These rewritten texts exhibit diversity in sentence structure and vocabulary while preserving the original key concepts and meanings. During training, LaCLIP randomly selects either the original texts or the rewritten versions as text augmentations for each image. Extensive experiments on CC3M, CC12M, RedCaps and LAION-400M datasets show that CLIP pre-training with language rewrites significantly improves the transfer performance without computation or memory overhead during training. Specifically for ImageNet zero-shot accuracy, LaCLIP outperforms CLIP by 8.2% on CC12M and 2.4% on LAION-400M. Code is available at https://github.com/LijieFan/LaCLIP.