Modelos de Linguagem Multimodais Ajustados São Filtros de Alta Qualidade para Dados de Imagem-Texto

Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters

March 5, 2024

Autores: Weizhi Wang, Khalil Mrini, Linjie Yang, Sateesh Kumar, Yu Tian, Xifeng Yan, Heng Wang

cs.AI

Resumo

Propomos um novo framework para filtrar dados de imagem-texto utilizando Modelos de Linguagem Multimodais (MLMs) ajustados finamente. Nossa abordagem supera os métodos de filtragem predominantes (por exemplo, CLIPScore) ao integrar os avanços recentes em MLMs. Projetamos quatro métricas distintas, porém complementares, para medir holisticamente a qualidade dos dados de imagem-texto. Um novo pipeline é estabelecido para construir dados de instrução de alta qualidade para ajustar finamente MLMs como filtros de dados. Em comparação com o CLIPScore, nossos filtros MLM produzem pontuações mais precisas e abrangentes que melhoram diretamente a qualidade dos dados filtrados e impulsionam o desempenho de modelos pré-treinados. Alcançamos melhorias significativas em relação ao CLIPScore em modelos de base populares (ou seja, CLIP e BLIP2) e em várias tarefas downstream. Nosso filtro MLM pode generalizar para diferentes modelos e tarefas, e ser usado como uma substituição direta para o CLIPScore. Um estudo de ablação adicional é fornecido para verificar nossas escolhas de design para o filtro MLM.

English

We propose a novel framework for filtering image-text data by leveraging fine-tuned Multimodal Language Models (MLMs). Our approach outperforms predominant filtering methods (e.g., CLIPScore) via integrating the recent advances in MLMs. We design four distinct yet complementary metrics to holistically measure the quality of image-text data. A new pipeline is established to construct high-quality instruction data for fine-tuning MLMs as data filters. Comparing with CLIPScore, our MLM filters produce more precise and comprehensive scores that directly improve the quality of filtered data and boost the performance of pre-trained models. We achieve significant improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2) and various downstream tasks. Our MLM filter can generalize to different models and tasks, and be used as a drop-in replacement for CLIPScore. An additional ablation study is provided to verify our design choices for the MLM filter.