Fijn afgestelde multimodale taalmodellen zijn hoogwaardige filters voor beeld-tekstgegevens

Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters

March 5, 2024

Auteurs: Weizhi Wang, Khalil Mrini, Linjie Yang, Sateesh Kumar, Yu Tian, Xifeng Yan, Heng Wang

cs.AI

Samenvatting

Wij stellen een nieuw raamwerk voor voor het filteren van beeld-tekstgegevens door gebruik te maken van fijn afgestelde Multimodale Taalmodellen (MLMs). Onze aanpak overtreft dominante filtermethoden (bijv. CLIPScore) door de recente vooruitgang in MLMs te integreren. We ontwerpen vier verschillende maar complementaire metrieken om de kwaliteit van beeld-tekstgegevens holistisch te meten. Er wordt een nieuwe pijplijn opgezet om hoogwaardige instructiegegevens te construeren voor het fijn afstellen van MLMs als datafilters. In vergelijking met CLIPScore produceren onze MLM-filters nauwkeurigere en uitgebreidere scores die direct de kwaliteit van gefilterde gegevens verbeteren en de prestaties van vooraf getrainde modellen verhogen. We behalen aanzienlijke verbeteringen ten opzichte van CLIPScore op populaire basismodellen (d.w.z. CLIP en BLIP2) en diverse downstream taken. Onze MLM-filter kan generaliseren naar verschillende modellen en taken, en kan worden gebruikt als een directe vervanging voor CLIPScore. Een aanvullende ablatiestudie wordt verstrekt om onze ontwerpkeuzes voor de MLM-filter te verifiëren.

English

We propose a novel framework for filtering image-text data by leveraging fine-tuned Multimodal Language Models (MLMs). Our approach outperforms predominant filtering methods (e.g., CLIPScore) via integrating the recent advances in MLMs. We design four distinct yet complementary metrics to holistically measure the quality of image-text data. A new pipeline is established to construct high-quality instruction data for fine-tuning MLMs as data filters. Comparing with CLIPScore, our MLM filters produce more precise and comprehensive scores that directly improve the quality of filtered data and boost the performance of pre-trained models. We achieve significant improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2) and various downstream tasks. Our MLM filter can generalize to different models and tasks, and be used as a drop-in replacement for CLIPScore. An additional ablation study is provided to verify our design choices for the MLM filter.