FIRE: Un Dataset per la Valutazione dell'Integrazione del Feedback e del Raffinamento nei Modelli Multimodali

FIRE: A Dataset for Feedback Integration and Refinement Evaluation of Multimodal Models

July 16, 2024

Autori: Pengxiang Li, Zhi Gao, Bofei Zhang, Tao Yuan, Yuwei Wu, Mehrtash Harandi, Yunde Jia, Song-Chun Zhu, Qing Li

cs.AI

Abstract

I modelli linguistico-visivi (VLMs) hanno compiuto progressi impressionanti in diverse applicazioni, diventando una direzione di ricerca prevalente. In questo articolo, costruiamo FIRE, un dataset di affinamento basato sul feedback, composto da 1,1 milioni di conversazioni multi-turn derivate da 27 dataset sorgente, che consente ai VLMs di affinare spontaneamente le loro risposte in base al feedback degli utenti su una vasta gamma di compiti. Per ampliare la raccolta dei dati, FIRE è raccolto in due componenti: FIRE-100K e FIRE-1M, dove FIRE-100K è generato da GPT-4V, e FIRE-1M è generato liberamente tramite modelli addestrati su FIRE-100K. Successivamente, costruiamo FIRE-Bench, un benchmark per valutare in modo completo la capacità di affinamento basato sul feedback dei VLMs, che contiene 11.000 conversazioni di affinamento come dati di test, due impostazioni di valutazione e un modello per fornire feedback ai VLMs. Sviluppiamo il modello FIRE-LLaVA addestrando LLaVA su FIRE-100K e FIRE-1M, che dimostra una notevole capacità di affinamento basato sul feedback su FIRE-Bench e supera i VLMs non addestrati del 50%, rendendo più efficienti le interazioni utente-agente e sottolineando l'importanza del dataset FIRE.

English

Vision language models (VLMs) have achieved impressive progress in diverse applications, becoming a prevalent research direction. In this paper, we build FIRE, a feedback-refinement dataset, consisting of 1.1M multi-turn conversations that are derived from 27 source datasets, empowering VLMs to spontaneously refine their responses based on user feedback across diverse tasks. To scale up the data collection, FIRE is collected in two components: FIRE-100K and FIRE-1M, where FIRE-100K is generated by GPT-4V, and FIRE-1M is freely generated via models trained on FIRE-100K. Then, we build FIRE-Bench, a benchmark to comprehensively evaluate the feedback-refining capability of VLMs, which contains 11K feedback-refinement conversations as the test data, two evaluation settings, and a model to provide feedback for VLMs. We develop the FIRE-LLaVA model by fine-tuning LLaVA on FIRE-100K and FIRE-1M, which shows remarkable feedback-refining capability on FIRE-Bench and outperforms untrained VLMs by 50%, making more efficient user-agent interactions and underscoring the significance of the FIRE dataset.