Что пользователи оставляют за кадром: неполные запросы ограничивают возможности визуально-языковых моделей
What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models
January 7, 2026
Авторы: Dasol Choi, Guijin Son, Hanwool Lee, Minhyuk Kim, Hyunwoo Ko, Teabin Lim, Ahn Eungyeol, Jungwhan Kim, Seunghyeok Hong, Youngsook Song
cs.AI
Аннотация
Современные бенчмарки для систем "визуальный язык-текст" преимущественно содержат хорошо структурированные вопросы с четкими и явными формулировками. Однако реальные пользовательские запросы часто носят неформальный и недостаточно определенный характер. Пользователи интуитивно опускают множество деталей, полагаясь на изображения для передачи контекста. Мы представляем HAERAE-Vision — бенчмарк, состоящий из 653 реальных визуальных вопросов из корейских онлайн-сообществ (отобрано 0,76% из 86 тысяч кандидатов), каждый из которых снабжен явно переформулированной версией, что в сумме дает 1306 вариантов запросов. Оценив 39 моделей визуального языка (VLM), мы обнаружили, что даже передовые модели (GPT-5, Gemini 2.5 Pro) показывают результат ниже 50% на исходных запросах. Ключевой вывод: одно лишь уточнение формулировки запроса дает улучшение на 8–22 процентных пункта, причем наибольшую выгоду извлекают меньшие модели. Мы также демонстрируем, что даже с использованием веб-поиска неспецифицированные запросы работают хуже, чем явные запросы без поиска, что свидетельствует о неспособности современных систем поиска компенсировать информацию, которую пользователи опускают. Наши результаты показывают, что значительная часть трудностей VLM связана с естественной недостаточной специфицированностью запросов, а не с ограничениями моделей, подчеркивая серьезный разрыв между оценкой на бенчмарках и реальным применением.
English
Current vision-language benchmarks predominantly feature well-structured questions with clear, explicit prompts. However, real user queries are often informal and underspecified. Users naturally leave much unsaid, relying on images to convey context. We introduce HAERAE-Vision, a benchmark of 653 real-world visual questions from Korean online communities (0.76% survival from 86K candidates), each paired with an explicit rewrite, yielding 1,306 query variants in total. Evaluating 39 VLMs, we find that even state-of-the-art models (GPT-5, Gemini 2.5 Pro) achieve under 50% on the original queries. Crucially, query explicitation alone yields 8 to 22 point improvements, with smaller models benefiting most. We further show that even with web search, under-specified queries underperform explicit queries without search, revealing that current retrieval cannot compensate for what users leave unsaid. Our findings demonstrate that a substantial portion of VLM difficulty stem from natural query under-specification instead of model capability, highlighting a critical gap between benchmark evaluation and real-world deployment.