FIRE: マルチモーダルモデルのフィードバック統合と改良評価のためのデータセット

FIRE: A Dataset for Feedback Integration and Refinement Evaluation of Multimodal Models

July 16, 2024

著者: Pengxiang Li, Zhi Gao, Bofei Zhang, Tao Yuan, Yuwei Wu, Mehrtash Harandi, Yunde Jia, Song-Chun Zhu, Qing Li

cs.AI

要旨

ビジョン言語モデル（VLMs）は多様なアプリケーションにおいて目覚ましい進歩を遂げ、主要な研究分野として確立されつつある。本論文では、FIREというフィードバック精緻化データセットを構築した。FIREは27のソースデータセットから派生した110万件のマルチターン会話で構成され、VLMsが多様なタスクにおいてユーザーフィードバックに基づいて自発的に応答を精緻化する能力を強化する。データ収集を効率化するため、FIREはFIRE-100KとFIRE-1Mの2つのコンポーネントで構成されている。FIRE-100KはGPT-4Vによって生成され、FIRE-1MはFIRE-100Kで訓練されたモデルによって自由生成される。さらに、VLMsのフィードバック精緻化能力を包括的に評価するためのベンチマークであるFIRE-Benchを構築した。FIRE-Benchは、テストデータとして11,000件のフィードバック精緻化会話、2つの評価設定、およびVLMsにフィードバックを提供するモデルを含む。FIRE-100KとFIRE-1MでLLaVAをファインチューニングしてFIRE-LLaVAモデルを開発したところ、FIRE-Benchにおいて顕著なフィードバック精緻化能力を示し、未訓練のVLMsを50%上回る性能を発揮した。これにより、ユーザーとエージェント間のインタラクションがより効率的になり、FIREデータセットの重要性が強調された。

English

Vision language models (VLMs) have achieved impressive progress in diverse applications, becoming a prevalent research direction. In this paper, we build FIRE, a feedback-refinement dataset, consisting of 1.1M multi-turn conversations that are derived from 27 source datasets, empowering VLMs to spontaneously refine their responses based on user feedback across diverse tasks. To scale up the data collection, FIRE is collected in two components: FIRE-100K and FIRE-1M, where FIRE-100K is generated by GPT-4V, and FIRE-1M is freely generated via models trained on FIRE-100K. Then, we build FIRE-Bench, a benchmark to comprehensively evaluate the feedback-refining capability of VLMs, which contains 11K feedback-refinement conversations as the test data, two evaluation settings, and a model to provide feedback for VLMs. We develop the FIRE-LLaVA model by fine-tuning LLaVA on FIRE-100K and FIRE-1M, which shows remarkable feedback-refining capability on FIRE-Bench and outperforms untrained VLMs by 50%, making more efficient user-agent interactions and underscoring the significance of the FIRE dataset.