ChatPaper.aiChatPaper

Verbesserung des CLIP-Trainings durch Sprachumformulierungen

Improving CLIP Training with Language Rewrites

May 31, 2023
Autoren: Lijie Fan, Dilip Krishnan, Phillip Isola, Dina Katabi, Yonglong Tian
cs.AI

Zusammenfassung

Contrastive Language-Image Pre-training (CLIP) gilt als eine der effektivsten und skalierbarsten Methoden zur Schulung übertragbarer Vision-Modelle mithilfe von gepaarten Bild- und Textdaten. CLIP-Modelle werden mit einem kontrastiven Verlust trainiert, der typischerweise auf Datenaugmentierungen angewiesen ist, um Überanpassung und Abkürzungen zu verhindern. Im CLIP-Trainingsparadigma werden Datenaugmentierungen jedoch ausschließlich auf Bildinputs angewendet, während Sprachinputs während des gesamten Trainingsprozesses unverändert bleiben, was die Exposition vielfältiger Texte für dasselbe Bild einschränkt. In diesem Artikel stellen wir Language augmented CLIP (LaCLIP) vor, einen einfachen, aber äußerst effektiven Ansatz zur Verbesserung des CLIP-Trainings durch Sprachumformulierungen. Unter Nutzung der In-Context-Learning-Fähigkeit großer Sprachmodelle formulieren wir die Textbeschreibungen, die mit jedem Bild verknüpft sind, um. Diese umformulierten Texte weisen Vielfalt in Satzstruktur und Vokabular auf, bewahren jedoch die ursprünglichen Schlüsselkonzepte und Bedeutungen. Während des Trainings wählt LaCLIP zufällig entweder die Originaltexte oder die umformulierten Versionen als Textaugmentierungen für jedes Bild aus. Umfangreiche Experimente auf den Datensätzen CC3M, CC12M, RedCaps und LAION-400M zeigen, dass das CLIP-Pretraining mit Sprachumformulierungen die Transferleistung signifikant verbessert, ohne zusätzlichen Rechen- oder Speicheraufwand während des Trainings zu verursachen. Insbesondere bei der ImageNet Zero-Shot-Genauigkeit übertrifft LaCLIP CLIP um 8,2 % auf CC12M und 2,4 % auf LAION-400M. Der Code ist verfügbar unter https://github.com/LijieFan/LaCLIP.
English
Contrastive Language-Image Pre-training (CLIP) stands as one of the most effective and scalable methods for training transferable vision models using paired image and text data. CLIP models are trained using contrastive loss, which typically relies on data augmentations to prevent overfitting and shortcuts. However, in the CLIP training paradigm, data augmentations are exclusively applied to image inputs, while language inputs remain unchanged throughout the entire training process, limiting the exposure of diverse texts to the same image. In this paper, we introduce Language augmented CLIP (LaCLIP), a simple yet highly effective approach to enhance CLIP training through language rewrites. Leveraging the in-context learning capability of large language models, we rewrite the text descriptions associated with each image. These rewritten texts exhibit diversity in sentence structure and vocabulary while preserving the original key concepts and meanings. During training, LaCLIP randomly selects either the original texts or the rewritten versions as text augmentations for each image. Extensive experiments on CC3M, CC12M, RedCaps and LAION-400M datasets show that CLIP pre-training with language rewrites significantly improves the transfer performance without computation or memory overhead during training. Specifically for ImageNet zero-shot accuracy, LaCLIP outperforms CLIP by 8.2% on CC12M and 2.4% on LAION-400M. Code is available at https://github.com/LijieFan/LaCLIP.
PDF21December 15, 2024