ファインチューニングされたマルチモーダル言語モデルは高品質な画像テキストデータフィルタである

要旨

我々は、微調整されたマルチモーダル言語モデル（MLM）を活用して画像-テキストデータをフィルタリングする新しいフレームワークを提案する。本手法は、MLMの最近の進歩を統合することで、主要なフィルタリング手法（例：CLIPScore）を上回る性能を示す。我々は、画像-テキストデータの品質を包括的に測定するために、4つの異なるが補完的な指標を設計した。MLMをデータフィルタとして微調整するための高品質な指示データを構築する新しいパイプラインを確立した。CLIPScoreと比較して、我々のMLMフィルタはより正確で包括的なスコアを生成し、フィルタリングされたデータの品質を直接向上させ、事前学習モデルの性能を向上させる。人気のある基盤モデル（CLIPやBLIP2など）および様々な下流タスクにおいて、CLIPScoreを大幅に上回る改善を達成した。我々のMLMフィルタは、異なるモデルやタスクに一般化可能であり、CLIPScoreの代替としてそのまま使用できる。MLMフィルタの設計選択を検証するための追加のアブレーションスタディも提供されている。

English

We propose a novel framework for filtering image-text data by leveraging fine-tuned Multimodal Language Models (MLMs). Our approach outperforms predominant filtering methods (e.g., CLIPScore) via integrating the recent advances in MLMs. We design four distinct yet complementary metrics to holistically measure the quality of image-text data. A new pipeline is established to construct high-quality instruction data for fine-tuning MLMs as data filters. Comparing with CLIPScore, our MLM filters produce more precise and comprehensive scores that directly improve the quality of filtered data and boost the performance of pre-trained models. We achieve significant improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2) and various downstream tasks. Our MLM filter can generalize to different models and tasks, and be used as a drop-in replacement for CLIPScore. An additional ablation study is provided to verify our design choices for the MLM filter.

ファインチューニングされたマルチモーダル言語モデルは高品質な画像テキストデータフィルタである

Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters

要旨

Support