FIRE: Um Conjunto de Dados para Integração de Feedback e Avaliação de Refinamento de Modelos Multimodais

FIRE: A Dataset for Feedback Integration and Refinement Evaluation of Multimodal Models

July 16, 2024

Autores: Pengxiang Li, Zhi Gao, Bofei Zhang, Tao Yuan, Yuwei Wu, Mehrtash Harandi, Yunde Jia, Song-Chun Zhu, Qing Li

cs.AI

Resumo

Os modelos de linguagem visual (VLMs) alcançaram progressos impressionantes em diversas aplicações, tornando-se uma direção de pesquisa prevalente. Neste artigo, construímos o FIRE, um conjunto de dados de feedback-refinamento, composto por 1,1 milhão de conversas de múltiplas interações derivadas de 27 conjuntos de dados de origem, capacitando os VLMs a refinar espontaneamente suas respostas com base no feedback do usuário em diversas tarefas. Para ampliar a coleta de dados, o FIRE é coletado em dois componentes: FIRE-100K e FIRE-1M, onde o FIRE-100K é gerado pelo GPT-4V, e o FIRE-1M é gerado livremente por meio de modelos treinados no FIRE-100K. Em seguida, construímos o FIRE-Bench, um benchmark para avaliar abrangentemente a capacidade de refinamento de feedback dos VLMs, que contém 11 mil conversas de feedback-refinamento como dados de teste, dois cenários de avaliação e um modelo para fornecer feedback aos VLMs. Desenvolvemos o modelo FIRE-LLaVA, realizando ajuste fino do LLaVA no FIRE-100K e FIRE-1M, que demonstra uma notável capacidade de refinamento de feedback no FIRE-Bench e supera os VLMs não treinados em 50%, tornando as interações usuário-agente mais eficientes e destacando a importância do conjunto de dados FIRE.

English

Vision language models (VLMs) have achieved impressive progress in diverse applications, becoming a prevalent research direction. In this paper, we build FIRE, a feedback-refinement dataset, consisting of 1.1M multi-turn conversations that are derived from 27 source datasets, empowering VLMs to spontaneously refine their responses based on user feedback across diverse tasks. To scale up the data collection, FIRE is collected in two components: FIRE-100K and FIRE-1M, where FIRE-100K is generated by GPT-4V, and FIRE-1M is freely generated via models trained on FIRE-100K. Then, we build FIRE-Bench, a benchmark to comprehensively evaluate the feedback-refining capability of VLMs, which contains 11K feedback-refinement conversations as the test data, two evaluation settings, and a model to provide feedback for VLMs. We develop the FIRE-LLaVA model by fine-tuning LLaVA on FIRE-100K and FIRE-1M, which shows remarkable feedback-refining capability on FIRE-Bench and outperforms untrained VLMs by 50%, making more efficient user-agent interactions and underscoring the significance of the FIRE dataset.