Feinabgestimmte multimodale Sprachmodelle sind hochwertige Bild-Text-Datenfilter.

Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters

March 5, 2024

Autoren: Weizhi Wang, Khalil Mrini, Linjie Yang, Sateesh Kumar, Yu Tian, Xifeng Yan, Heng Wang

cs.AI

Zusammenfassung

Wir schlagen ein neuartiges Framework zur Filterung von Bild-Text-Daten vor, indem wir feinabgestimmte Multimodale Sprachmodelle (MLMs) nutzen. Unser Ansatz übertrifft vorherrschende Filtermethoden (z. B. CLIPScore), indem wir die neuesten Fortschritte in MLMs integrieren. Wir entwerfen vier unterschiedliche, aber ergänzende Metriken, um die Qualität von Bild-Text-Daten ganzheitlich zu messen. Ein neuer Prozess wird etabliert, um hochwertige Anweisungsdaten für die Feinabstimmung von MLMs als Datenfilter zu erstellen. Im Vergleich zu CLIPScore liefern unsere MLM-Filter präzisere und umfassendere Bewertungen, die direkt die Qualität der gefilterten Daten verbessern und die Leistung von vorab trainierten Modellen steigern. Wir erzielen signifikante Verbesserungen gegenüber CLIPScore bei beliebten Grundlagenmodellen (d. h. CLIP und BLIP2) und verschiedenen nachgelagerten Aufgaben. Unser MLM-Filter kann auf verschiedene Modelle und Aufgaben verallgemeinert werden und als problemloser Ersatz für CLIPScore dienen. Eine zusätzliche Ablationsstudie wird durchgeführt, um unsere Designentscheidungen für den MLM-Filter zu bestätigen.

English

We propose a novel framework for filtering image-text data by leveraging fine-tuned Multimodal Language Models (MLMs). Our approach outperforms predominant filtering methods (e.g., CLIPScore) via integrating the recent advances in MLMs. We design four distinct yet complementary metrics to holistically measure the quality of image-text data. A new pipeline is established to construct high-quality instruction data for fine-tuning MLMs as data filters. Comparing with CLIPScore, our MLM filters produce more precise and comprehensive scores that directly improve the quality of filtered data and boost the performance of pre-trained models. We achieve significant improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2) and various downstream tasks. Our MLM filter can generalize to different models and tasks, and be used as a drop-in replacement for CLIPScore. An additional ablation study is provided to verify our design choices for the MLM filter.