Донастройка мультимодельных языковых моделей - это фильтры данных изображений и текста высокого качества.
Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters
March 5, 2024
Авторы: Weizhi Wang, Khalil Mrini, Linjie Yang, Sateesh Kumar, Yu Tian, Xifeng Yan, Heng Wang
cs.AI
Аннотация
Мы предлагаем новую структуру для фильтрации данных изображений и текста, используя тонко настроенные Мультимодальные Языковые Модели (MLM). Наш подход превосходит преобладающие методы фильтрации (например, CLIPScore) за счет интеграции последних достижений в области MLM. Мы разрабатываем четыре различных, но взаимодополняющих метрики для всесторонней оценки качества данных изображений и текста. Создан новый конвейер для создания высококачественных инструкционных данных для тонкой настройки MLM в качестве фильтров данных. По сравнению с CLIPScore, наши фильтры MLM производят более точные и всесторонние оценки, что напрямую улучшает качество отфильтрованных данных и повышает производительность предварительно обученных моделей. Мы достигаем значительных улучшений по сравнению с CLIPScore на популярных базовых моделях (т.е. CLIP и BLIP2) и различных задачах на следующем уровне. Наши фильтры MLM могут обобщаться на различные модели и задачи, и использоваться в качестве замены CLIPScore. Предоставлено дополнительное исследование абляции для проверки наших выборов дизайна для фильтра MLM.
English
We propose a novel framework for filtering image-text data by leveraging
fine-tuned Multimodal Language Models (MLMs). Our approach outperforms
predominant filtering methods (e.g., CLIPScore) via integrating the recent
advances in MLMs. We design four distinct yet complementary metrics to
holistically measure the quality of image-text data. A new pipeline is
established to construct high-quality instruction data for fine-tuning MLMs as
data filters. Comparing with CLIPScore, our MLM filters produce more precise
and comprehensive scores that directly improve the quality of filtered data and
boost the performance of pre-trained models. We achieve significant
improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2)
and various downstream tasks. Our MLM filter can generalize to different models
and tasks, and be used as a drop-in replacement for CLIPScore. An additional
ablation study is provided to verify our design choices for the MLM filter.