ProactiveBench: Оценка проактивности мультимодальных больших языковых моделей

ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models

March 19, 2026

Авторы: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

Аннотация

Эффективное сотрудничество начинается с понимания, когда необходимо обратиться за помощью. Например, при попытке идентифицировать загороженный объект человек попросит кого-нибудь убрать препятствие. Способны ли MLLM проявить аналогичное «проактивное» поведение, запрашивая простые вмешательства пользователя? Чтобы исследовать это, мы представляем ProactiveBench — бенчмарк, созданный на основе семи перепрофилированных наборов данных, который тестирует проактивность в различных задачах, таких как распознавание закрытых объектов, улучшение качества изображения и интерпретация грубых набросков. Мы оценили 22 MLLM на ProactiveBench и показали, что: (i) им в целом не хватает проактивности; (ii) проактивность не коррелирует с мощностью модели; (iii) «намёки» на проактивность дают лишь незначительное улучшение. Неожиданно мы обнаружили, что история диалога и обучение в контексте создают негативные смещения, ухудшая результаты. Наконец, мы исследуем простую стратегию тонкой настройки на основе обучения с подкреплением: её результаты позволяют предположить, что проактивности можно обучить, причём даже с обобщением на ранее не встречавшиеся сценарии. Мы публично выпускаем ProactiveBench в качестве первого шага к созданию проактивных мультимодальных моделей.

English

Effective collaboration begins with knowing when to ask for help. For example, when trying to identify an occluded object, a human would ask someone to remove the obstruction. Can MLLMs exhibit a similar "proactive" behavior by requesting simple user interventions? To investigate this, we introduce ProactiveBench, a benchmark built from seven repurposed datasets that tests proactiveness across different tasks such as recognizing occluded objects, enhancing image quality, and interpreting coarse sketches. We evaluate 22 MLLMs on ProactiveBench, showing that (i) they generally lack proactiveness; (ii) proactiveness does not correlate with model capacity; (iii) "hinting" at proactiveness yields only marginal gains. Surprisingly, we found that conversation histories and in-context learning introduce negative biases, hindering performance. Finally, we explore a simple fine-tuning strategy based on reinforcement learning: its results suggest that proactiveness can be learned, even generalizing to unseen scenarios. We publicly release ProactiveBench as a first step toward building proactive multimodal models.