I modelli linguistici multimodali affinati sono filtri di alta qualità per i dati immagine-testo

Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters

March 5, 2024

Autori: Weizhi Wang, Khalil Mrini, Linjie Yang, Sateesh Kumar, Yu Tian, Xifeng Yan, Heng Wang

cs.AI

Abstract

Proponiamo un nuovo framework per filtrare dati immagine-testo sfruttando Modelli Linguistici Multimodali (MLM) affinati. Il nostro approccio supera i principali metodi di filtraggio (ad esempio, CLIPScore) integrando i recenti progressi negli MLM. Progettiamo quattro metriche distinte ma complementari per misurare in modo olistico la qualità dei dati immagine-testo. Viene stabilito un nuovo pipeline per costruire dati di istruzione di alta qualità per affinare gli MLM come filtri di dati. Rispetto a CLIPScore, i nostri filtri MLM producono punteggi più precisi e completi che migliorano direttamente la qualità dei dati filtrati e potenziano le prestazioni dei modelli pre-addestrati. Otteniamo miglioramenti significativi rispetto a CLIPScore su modelli di base popolari (ad esempio, CLIP e BLIP2) e su varie attività downstream. Il nostro filtro MLM può generalizzare a diversi modelli e attività, e può essere utilizzato come sostituto diretto di CLIPScore. Uno studio di ablazione aggiuntivo è fornito per verificare le nostre scelte progettuali per il filtro MLM.

English

We propose a novel framework for filtering image-text data by leveraging fine-tuned Multimodal Language Models (MLMs). Our approach outperforms predominant filtering methods (e.g., CLIPScore) via integrating the recent advances in MLMs. We design four distinct yet complementary metrics to holistically measure the quality of image-text data. A new pipeline is established to construct high-quality instruction data for fine-tuning MLMs as data filters. Comparing with CLIPScore, our MLM filters produce more precise and comprehensive scores that directly improve the quality of filtered data and boost the performance of pre-trained models. We achieve significant improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2) and various downstream tasks. Our MLM filter can generalize to different models and tasks, and be used as a drop-in replacement for CLIPScore. An additional ablation study is provided to verify our design choices for the MLM filter.