FIRE : Un ensemble de données pour l'évaluation de l'intégration de feedback et du raffinement des modèles multimodaux

FIRE: A Dataset for Feedback Integration and Refinement Evaluation of Multimodal Models

July 16, 2024

Auteurs: Pengxiang Li, Zhi Gao, Bofei Zhang, Tao Yuan, Yuwei Wu, Mehrtash Harandi, Yunde Jia, Song-Chun Zhu, Qing Li

cs.AI

Résumé

Les modèles de langage visuel (VLMs) ont réalisé des progrès impressionnants dans diverses applications, devenant une direction de recherche prédominante. Dans cet article, nous construisons FIRE, un ensemble de données de raffinement par feedback, composé de 1,1 million de conversations multi-tours dérivées de 27 ensembles de données sources, permettant aux VLMs d'affiner spontanément leurs réponses en fonction des retours utilisateurs à travers diverses tâches. Pour accélérer la collecte de données, FIRE est constitué de deux composantes : FIRE-100K et FIRE-1M, où FIRE-100K est généré par GPT-4V, et FIRE-1M est généré librement via des modèles entraînés sur FIRE-100K. Ensuite, nous construisons FIRE-Bench, un benchmark pour évaluer de manière exhaustive la capacité de raffinement par feedback des VLMs, qui contient 11 000 conversations de raffinement par feedback comme données de test, deux configurations d'évaluation, et un modèle pour fournir des feedbacks aux VLMs. Nous développons le modèle FIRE-LLaVA en affinant LLaVA sur FIRE-100K et FIRE-1M, qui démontre une capacité remarquable de raffinement par feedback sur FIRE-Bench et surpasse les VLMs non entraînés de 50 %, rendant les interactions utilisateur-agent plus efficaces et soulignant l'importance de l'ensemble de données FIRE.

English

Vision language models (VLMs) have achieved impressive progress in diverse applications, becoming a prevalent research direction. In this paper, we build FIRE, a feedback-refinement dataset, consisting of 1.1M multi-turn conversations that are derived from 27 source datasets, empowering VLMs to spontaneously refine their responses based on user feedback across diverse tasks. To scale up the data collection, FIRE is collected in two components: FIRE-100K and FIRE-1M, where FIRE-100K is generated by GPT-4V, and FIRE-1M is freely generated via models trained on FIRE-100K. Then, we build FIRE-Bench, a benchmark to comprehensively evaluate the feedback-refining capability of VLMs, which contains 11K feedback-refinement conversations as the test data, two evaluation settings, and a model to provide feedback for VLMs. We develop the FIRE-LLaVA model by fine-tuning LLaVA on FIRE-100K and FIRE-1M, which shows remarkable feedback-refining capability on FIRE-Bench and outperforms untrained VLMs by 50%, making more efficient user-agent interactions and underscoring the significance of the FIRE dataset.