Mejoramiento del entrenamiento de CLIP mediante reescrituras del lenguaje

Improving CLIP Training with Language Rewrites

May 31, 2023

Autores: Lijie Fan, Dilip Krishnan, Phillip Isola, Dina Katabi, Yonglong Tian

cs.AI

Resumen

El preentrenamiento de lenguaje e imagen contrastivo (CLIP, por sus siglas en inglés) se posiciona como uno de los métodos más efectivos y escalables para entrenar modelos de visión transferibles utilizando datos emparejados de imágenes y texto. Los modelos CLIP se entrenan utilizando una función de pérdida contrastiva, que normalmente depende de aumentos de datos para evitar el sobreajuste y atajos. Sin embargo, en el paradigma de entrenamiento de CLIP, los aumentos de datos se aplican exclusivamente a las entradas de imágenes, mientras que las entradas de texto permanecen sin cambios durante todo el proceso de entrenamiento, lo que limita la exposición de textos diversos a la misma imagen. En este artículo, presentamos CLIP aumentado con lenguaje (LaCLIP), un enfoque simple pero altamente efectivo para mejorar el entrenamiento de CLIP mediante reescrituras de texto. Aprovechando la capacidad de aprendizaje en contexto de los modelos de lenguaje grandes, reescribimos las descripciones de texto asociadas a cada imagen. Estos textos reescritos exhiben diversidad en la estructura de las oraciones y el vocabulario, mientras conservan los conceptos y significados clave originales. Durante el entrenamiento, LaCLIP selecciona aleatoriamente entre los textos originales o las versiones reescritas como aumentos de texto para cada imagen. Experimentos exhaustivos en los conjuntos de datos CC3M, CC12M, RedCaps y LAION-400M muestran que el preentrenamiento de CLIP con reescrituras de texto mejora significativamente el rendimiento de transferencia sin incurrir en sobrecargas de cómputo o memoria durante el entrenamiento. Específicamente, en la precisión de clasificación sin entrenamiento previo (zero-shot) en ImageNet, LaCLIP supera a CLIP en un 8.2% en CC12M y en un 2.4% en LAION-400M. El código está disponible en https://github.com/LijieFan/LaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) stands as one of the most effective and scalable methods for training transferable vision models using paired image and text data. CLIP models are trained using contrastive loss, which typically relies on data augmentations to prevent overfitting and shortcuts. However, in the CLIP training paradigm, data augmentations are exclusively applied to image inputs, while language inputs remain unchanged throughout the entire training process, limiting the exposure of diverse texts to the same image. In this paper, we introduce Language augmented CLIP (LaCLIP), a simple yet highly effective approach to enhance CLIP training through language rewrites. Leveraging the in-context learning capability of large language models, we rewrite the text descriptions associated with each image. These rewritten texts exhibit diversity in sentence structure and vocabulary while preserving the original key concepts and meanings. During training, LaCLIP randomly selects either the original texts or the rewritten versions as text augmentations for each image. Extensive experiments on CC3M, CC12M, RedCaps and LAION-400M datasets show that CLIP pre-training with language rewrites significantly improves the transfer performance without computation or memory overhead during training. Specifically for ImageNet zero-shot accuracy, LaCLIP outperforms CLIP by 8.2% on CC12M and 2.4% on LAION-400M. Code is available at https://github.com/LijieFan/LaCLIP.