InterFeedback: Раскрытие интерактивного интеллекта крупных мультимодальных моделей через обратную связь от человека

InterFeedback: Unveiling Interactive Intelligence of Large Multimodal Models via Human Feedback

February 20, 2025

Авторы: Henry Hengyuan Zhao, Wenqi Pei, Yifei Tao, Haiyang Mei, Mike Zheng Shou

cs.AI

Аннотация

Существующие тестовые наборы не проверяют крупные мультимодальные модели (LMM) на их интерактивный интеллект при взаимодействии с пользователями, что крайне важно для разработки универсальных ИИ-ассистентов. Мы разработали InterFeedback — интерактивную структуру, которая может быть применена к любой LMM и набору данных для автономной оценки этой способности. В дополнение к этому мы представляем InterFeedback-Bench, который оценивает интерактивный интеллект с использованием двух репрезентативных наборов данных, MMMU-Pro и MathVerse, для тестирования 10 различных открытых LMM. Кроме того, мы представляем InterFeedback-Human — новый набор данных из 120 случаев, собранный для ручного тестирования интерактивной производительности ведущих моделей, таких как OpenAI-o1 и Claude-3.5-Sonnet. Результаты нашей оценки показывают, что даже передовые LMM (например, OpenAI-o1) могут корректировать свои результаты на основе обратной связи от пользователя менее чем в 50% случаев. Наши выводы указывают на необходимость разработки методов, которые могут улучшить способность LMM интерпретировать и извлекать пользу из обратной связи.

English

Existing benchmarks do not test Large Multimodal Models (LMMs) on their interactive intelligence with human users which is vital for developing general-purpose AI assistants. We design InterFeedback, an interactive framework, which can be applied to any LMM and dataset to assess this ability autonomously. On top of this, we introduce InterFeedback-Bench which evaluates interactive intelligence using two representative datasets, MMMU-Pro and MathVerse, to test 10 different open-source LMMs. Additionally, we present InterFeedback-Human, a newly collected dataset of 120 cases designed for manually testing interactive performance in leading models such as OpenAI-o1 and Claude-3.5-Sonnet. Our evaluation results show that even state-of-the-art LMM (like OpenAI-o1) can correct their results through human feedback less than 50%. Our findings point to the need for methods that can enhance the LMMs' capability to interpret and benefit from feedback.