Los modelos de lenguaje multimodal ajustados son filtros de alta calidad para datos de imagen-texto

Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters

March 5, 2024

Autores: Weizhi Wang, Khalil Mrini, Linjie Yang, Sateesh Kumar, Yu Tian, Xifeng Yan, Heng Wang

cs.AI

Resumen

Proponemos un marco novedoso para filtrar datos de imagen-texto aprovechando Modelos de Lenguaje Multimodales (MLMs) ajustados. Nuestro enfoque supera los métodos de filtrado predominantes (por ejemplo, CLIPScore) al integrar los avances recientes en MLMs. Diseñamos cuatro métricas distintas pero complementarias para medir de manera integral la calidad de los datos de imagen-texto. Se establece una nueva canalización para construir datos de instrucción de alta calidad destinados a ajustar MLMs como filtros de datos. En comparación con CLIPScore, nuestros filtros MLM producen puntuaciones más precisas y completas que mejoran directamente la calidad de los datos filtrados y potencian el rendimiento de los modelos preentrenados. Logramos mejoras significativas sobre CLIPScore en modelos base populares (es decir, CLIP y BLIP2) y diversas tareas posteriores. Nuestro filtro MLM puede generalizarse a diferentes modelos y tareas, y utilizarse como un reemplazo directo de CLIPScore. Se incluye un estudio de ablación adicional para verificar nuestras decisiones de diseño para el filtro MLM.

English

We propose a novel framework for filtering image-text data by leveraging fine-tuned Multimodal Language Models (MLMs). Our approach outperforms predominant filtering methods (e.g., CLIPScore) via integrating the recent advances in MLMs. We design four distinct yet complementary metrics to holistically measure the quality of image-text data. A new pipeline is established to construct high-quality instruction data for fine-tuning MLMs as data filters. Comparing with CLIPScore, our MLM filters produce more precise and comprehensive scores that directly improve the quality of filtered data and boost the performance of pre-trained models. We achieve significant improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2) and various downstream tasks. Our MLM filter can generalize to different models and tasks, and be used as a drop-in replacement for CLIPScore. An additional ablation study is provided to verify our design choices for the MLM filter.