ChatPaper.aiChatPaper

Les modèles de langage multimodal affinés sont des filtres de haute qualité pour les données image-texte

Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters

March 5, 2024
Auteurs: Weizhi Wang, Khalil Mrini, Linjie Yang, Sateesh Kumar, Yu Tian, Xifeng Yan, Heng Wang
cs.AI

Résumé

Nous proposons un nouveau cadre pour le filtrage des données image-texte en exploitant des modèles de langage multimodaux (MLM) affinés. Notre approche surpasse les méthodes de filtrage prédominantes (par exemple, CLIPScore) en intégrant les avancées récentes dans les MLM. Nous concevons quatre métriques distinctes mais complémentaires pour mesurer de manière holistique la qualité des données image-texte. Un nouveau pipeline est établi pour construire des données d'instruction de haute qualité afin d'affiner les MLM en tant que filtres de données. Comparé à CLIPScore, nos filtres MLM produisent des scores plus précis et complets qui améliorent directement la qualité des données filtrées et boostent les performances des modèles pré-entraînés. Nous obtenons des améliorations significatives par rapport à CLIPScore sur des modèles de base populaires (c'est-à-dire CLIP et BLIP2) et diverses tâches en aval. Notre filtre MLM peut se généraliser à différents modèles et tâches, et être utilisé comme un remplacement direct de CLIPScore. Une étude d'ablation supplémentaire est fournie pour vérifier nos choix de conception pour le filtre MLM.
English
We propose a novel framework for filtering image-text data by leveraging fine-tuned Multimodal Language Models (MLMs). Our approach outperforms predominant filtering methods (e.g., CLIPScore) via integrating the recent advances in MLMs. We design four distinct yet complementary metrics to holistically measure the quality of image-text data. A new pipeline is established to construct high-quality instruction data for fine-tuning MLMs as data filters. Comparing with CLIPScore, our MLM filters produce more precise and comprehensive scores that directly improve the quality of filtered data and boost the performance of pre-trained models. We achieve significant improvements over CLIPScore on popular foundation models (i.e., CLIP and BLIP2) and various downstream tasks. Our MLM filter can generalize to different models and tasks, and be used as a drop-in replacement for CLIPScore. An additional ablation study is provided to verify our design choices for the MLM filter.
PDF181December 15, 2024