FIRE: Un conjunto de datos para la integración de retroalimentación y evaluación de refinamiento de modelos multimodales.

FIRE: A Dataset for Feedback Integration and Refinement Evaluation of Multimodal Models

July 16, 2024

Autores: Pengxiang Li, Zhi Gao, Bofei Zhang, Tao Yuan, Yuwei Wu, Mehrtash Harandi, Yunde Jia, Song-Chun Zhu, Qing Li

cs.AI

Resumen

Los modelos de lenguaje visual (VLMs) han logrado un progreso impresionante en diversas aplicaciones, convirtiéndose en una dirección de investigación prevalente. En este documento, construimos FIRE, un conjunto de datos de retroalimentación y refinamiento, que consta de 1.1 millones de conversaciones de múltiples turnos derivadas de 27 conjuntos de datos fuente, potenciando a los VLMs para refinar espontáneamente sus respuestas basadas en la retroalimentación del usuario en diversas tareas. Para ampliar la recopilación de datos, FIRE se recopila en dos componentes: FIRE-100K y FIRE-1M, donde FIRE-100K es generado por GPT-4V, y FIRE-1M se genera libremente a través de modelos entrenados en FIRE-100K. Luego, construimos FIRE-Bench, un banco de pruebas para evaluar exhaustivamente la capacidad de refinamiento de retroalimentación de los VLMs, que contiene 11 mil conversaciones de retroalimentación y refinamiento como datos de prueba, dos configuraciones de evaluación y un modelo para proporcionar retroalimentación a los VLMs. Desarrollamos el modelo FIRE-LLaVA mediante el ajuste fino de LLaVA en FIRE-100K y FIRE-1M, que muestra una notable capacidad de refinamiento de retroalimentación en FIRE-Bench y supera a los VLMs no entrenados en un 50%, logrando interacciones más eficientes entre el usuario y el agente y subrayando la importancia del conjunto de datos FIRE.

English

Vision language models (VLMs) have achieved impressive progress in diverse applications, becoming a prevalent research direction. In this paper, we build FIRE, a feedback-refinement dataset, consisting of 1.1M multi-turn conversations that are derived from 27 source datasets, empowering VLMs to spontaneously refine their responses based on user feedback across diverse tasks. To scale up the data collection, FIRE is collected in two components: FIRE-100K and FIRE-1M, where FIRE-100K is generated by GPT-4V, and FIRE-1M is freely generated via models trained on FIRE-100K. Then, we build FIRE-Bench, a benchmark to comprehensively evaluate the feedback-refining capability of VLMs, which contains 11K feedback-refinement conversations as the test data, two evaluation settings, and a model to provide feedback for VLMs. We develop the FIRE-LLaVA model by fine-tuning LLaVA on FIRE-100K and FIRE-1M, which shows remarkable feedback-refining capability on FIRE-Bench and outperforms untrained VLMs by 50%, making more efficient user-agent interactions and underscoring the significance of the FIRE dataset.