FIRE: Набор данных для оценки интеграции обратной связи и уточнения мультимодельных моделей.

FIRE: A Dataset for Feedback Integration and Refinement Evaluation of Multimodal Models

July 16, 2024

Авторы: Pengxiang Li, Zhi Gao, Bofei Zhang, Tao Yuan, Yuwei Wu, Mehrtash Harandi, Yunde Jia, Song-Chun Zhu, Qing Li

cs.AI

Аннотация

Языковые модели зрительного восприятия (VLM) достигли впечатляющего прогресса в различных приложениях, став популярным направлением исследований. В данной статье мы создаем набор данных FIRE (Feedback-Refinement), состоящий из 1,1 млн многоходовых разговоров, полученных из 27 исходных наборов данных, что позволяет языковым моделям зрительного восприятия самостоятельно улучшать свои ответы на основе обратной связи пользователей в различных задачах. Для масштабирования сбора данных FIRE собирается в двух компонентах: FIRE-100K и FIRE-1M, где FIRE-100K создан с помощью GPT-4V, а FIRE-1M генерируется моделями, обученными на FIRE-100K. Затем мы создаем набор данных FIRE-Bench, бенчмарк для всесторонней оценки способности языковых моделей зрительного восприятия к улучшению на основе обратной связи, который содержит 11 тыс. разговоров с обратной связью в качестве тестовых данных, два варианта оценки и модель для предоставления обратной связи для языковых моделей зрительного восприятия. Мы разрабатываем модель FIRE-LLaVA, донастраивая LLaVA на данных FIRE-100K и FIRE-1M, которая демонстрирует выдающуюся способность к улучшению на основе обратной связи на наборе данных FIRE-Bench и превосходит необученные языковые модели зрительного восприятия на 50%, обеспечивая более эффективное взаимодействие пользователь-агент и подчеркивая важность набора данных FIRE.

English

Vision language models (VLMs) have achieved impressive progress in diverse applications, becoming a prevalent research direction. In this paper, we build FIRE, a feedback-refinement dataset, consisting of 1.1M multi-turn conversations that are derived from 27 source datasets, empowering VLMs to spontaneously refine their responses based on user feedback across diverse tasks. To scale up the data collection, FIRE is collected in two components: FIRE-100K and FIRE-1M, where FIRE-100K is generated by GPT-4V, and FIRE-1M is freely generated via models trained on FIRE-100K. Then, we build FIRE-Bench, a benchmark to comprehensively evaluate the feedback-refining capability of VLMs, which contains 11K feedback-refinement conversations as the test data, two evaluation settings, and a model to provide feedback for VLMs. We develop the FIRE-LLaVA model by fine-tuning LLaVA on FIRE-100K and FIRE-1M, which shows remarkable feedback-refining capability on FIRE-Bench and outperforms untrained VLMs by 50%, making more efficient user-agent interactions and underscoring the significance of the FIRE dataset.