Улучшение обучения CLIP с помощью переформулировок текста

Improving CLIP Training with Language Rewrites

May 31, 2023

Авторы: Lijie Fan, Dilip Krishnan, Phillip Isola, Dina Katabi, Yonglong Tian

cs.AI

Аннотация

Контрастное предобучение на основе языка и изображений (CLIP) является одним из наиболее эффективных и масштабируемых методов для обучения переносимым моделям компьютерного зрения с использованием парных данных изображений и текста. Модели CLIP обучаются с использованием контрастной функции потерь, которая обычно полагается на аугментацию данных для предотвращения переобучения и использования "коротких путей". Однако в парадигме обучения CLIP аугментация данных применяется исключительно к входным изображениям, в то время как текстовые входы остаются неизменными на протяжении всего процесса обучения, что ограничивает разнообразие текстов, связанных с одним и тем же изображением. В данной статье мы представляем Language augmented CLIP (LaCLIP) — простой, но высокоэффективный подход для улучшения обучения CLIP за счет переписывания текстов. Используя способность крупных языковых моделей к обучению в контексте, мы переписываем текстовые описания, связанные с каждым изображением. Эти переписанные тексты демонстрируют разнообразие в структуре предложений и словарном составе, сохраняя при этом ключевые концепции и смысл оригинала. В процессе обучения LaCLIP случайным образом выбирает либо оригинальные тексты, либо их переписанные версии в качестве аугментации текста для каждого изображения. Многочисленные эксперименты на наборах данных CC3M, CC12M, RedCaps и LAION-400M показывают, что предобучение CLIP с использованием переписанных текстов значительно улучшает производительность переноса без увеличения вычислительных затрат или использования памяти в процессе обучения. В частности, для точности zero-shot на ImageNet LaCLIP превосходит CLIP на 8,2% на CC12M и на 2,4% на LAION-400M. Код доступен по адресу https://github.com/LijieFan/LaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) stands as one of the most effective and scalable methods for training transferable vision models using paired image and text data. CLIP models are trained using contrastive loss, which typically relies on data augmentations to prevent overfitting and shortcuts. However, in the CLIP training paradigm, data augmentations are exclusively applied to image inputs, while language inputs remain unchanged throughout the entire training process, limiting the exposure of diverse texts to the same image. In this paper, we introduce Language augmented CLIP (LaCLIP), a simple yet highly effective approach to enhance CLIP training through language rewrites. Leveraging the in-context learning capability of large language models, we rewrite the text descriptions associated with each image. These rewritten texts exhibit diversity in sentence structure and vocabulary while preserving the original key concepts and meanings. During training, LaCLIP randomly selects either the original texts or the rewritten versions as text augmentations for each image. Extensive experiments on CC3M, CC12M, RedCaps and LAION-400M datasets show that CLIP pre-training with language rewrites significantly improves the transfer performance without computation or memory overhead during training. Specifically for ImageNet zero-shot accuracy, LaCLIP outperforms CLIP by 8.2% on CC12M and 2.4% on LAION-400M. Code is available at https://github.com/LijieFan/LaCLIP.