Скрытое на виду: исследование имплицитных рассуждений в мультимодальных языковых моделях

Hidden in Plain Sight: Probing Implicit Reasoning in Multimodal Language Models

May 30, 2025

Авторы: Qianqi Yan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Аннотация

Мультимодальные крупные языковые модели (MLLMs) всё чаще применяются в открытых, реальных условиях, где входные данные являются неупорядоченными, недостаточно определёнными и не всегда заслуживающими доверия. В отличие от тщательно отобранных тестовых наборов, такие условия часто включают инструкции, которые ссылаются на отсутствующие объекты или противоречивые факты, опираются на неоднозначные ссылки или запрашивают невыполнимые действия. В таких случаях успех зависит не только от выполнения задачи, но и от способности модели обнаруживать, когда что-то скрыто неправильно. В данной статье представлен систематический анализ того, как современные MLLM справляются с такими сценариями неявного рассуждения: случаями, когда ошибка не указана явно, но должна быть выведена из контекста. Используя тщательно разработанный диагностический набор, охватывающий четыре категории реальных сбоев, мы оцениваем шесть MLLM, включая o3 и GPT-4o, и обнаруживаем, что модели часто не выявляют скрытые проблемы, даже если обладают необходимыми перцептивными и логическими навыками. Явные подсказки показывают, что базовые способности существуют, но часто подавляются в пользу соответствия запросам пользователя. Мы также демонстрируем, что простые вмешательства на этапе вывода, такие как осторожное использование персонажей в подсказках и, в частности, требование уточняющего вопроса, могут значительно улучшить производительность. Наши результаты подчеркивают устойчивый разрыв между логической компетентностью и поведенческим соответствием в современных MLLM и предлагают практические стратегии для повышения доверия к этим моделям в условиях с недостаточными ограничениями.

English

Multimodal large language models (MLLMs) are increasingly deployed in open-ended, real-world environments where inputs are messy, underspecified, and not always trustworthy. Unlike curated benchmarks, these settings frequently involve instructions that refer to missing objects or contradictory facts, rely on ambiguous references, or request infeasible actions. In such cases, success hinges not on task execution alone, but on a model's ability to detect when something is silently wrong. This paper presents a systematic analysis of how current MLLMs handle such implicit reasoning scenarios: cases where the flaw is not explicitly stated but must be inferred from context. Using a curated diagnostic suite spanning four categories of real-world failure modes, we evaluate six MLLMs, including o3 and GPT-4o, and find that models frequently fail to surface hidden issues, even when they possess the necessary perceptual and reasoning skills. Explicit prompting reveals that the underlying capabilities exist but are often suppressed in favor of user compliance. We further show that simple inference-time interventions, such as cautious persona prompting and, in particular, requiring a clarifying question, can dramatically recover performance. Our findings highlight a persistent gap between reasoning competence and behavioral compliance in current MLLMs and suggest practical strategies for making these models more trustworthy in underconstrained environments.