Могут ли крупные мультимодальные модели активно распознавать ошибочные входные данные? Систематическая структура оценки их способности к анализу входных данных

Can Large Multimodal Models Actively Recognize Faulty Inputs? A Systematic Evaluation Framework of Their Input Scrutiny Ability

August 6, 2025

Авторы: Haiqi Yang, Jinzhe Li, Gengxu Li, Yi Chang, Yuan Wu

cs.AI

Аннотация

Крупные мультимодальные модели (LMMs) демонстрируют значительный прогресс, показывая впечатляющие способности в решении сложных мультимодальных задач с исключительной производительностью. Недавние исследования подчеркивают склонность крупных языковых моделей пассивно принимать некорректные входные данные, что часто приводит к бесполезным рассуждениям на основе неверных запросов. Однако ключевой вопрос о том, могут ли LMMs активно обнаруживать и анализировать ошибочные входные данные, остается неисследованным. Для устранения этого пробела мы представляем фреймворк оценки способности к проверке входных данных (ISEval), который включает семь категорий ошибочных предпосылок и три метрики оценки. Наше масштабное тестирование десяти передовых LMMs выявило ключевые результаты. Большинство моделей испытывают трудности с активным обнаружением ошибочных текстовых предпосылок без подсказок, что свидетельствует о сильной зависимости от явных указаний для идентификации ошибок в предпосылках. Тип ошибки влияет на производительность: модели хорошо справляются с выявлением логических ошибок, но испытывают трудности с поверхностными лингвистическими ошибками и некоторыми условными недостатками. Доверие к модальностям варьируется: Gemini 2.5 pro и Claude Sonnet 4 балансируют визуальную и текстовую информацию, в то время как aya-vision-8b чрезмерно полагается на текст в случае конфликтов. Эти выводы подчеркивают острую необходимость улучшения активной проверки валидности входных данных в LMMs и предлагают новые подходы к решению этой проблемы. Код доступен по адресу https://github.com/MLGroupJLU/LMM_ISEval.

English

Large Multimodal Models (LMMs) have witnessed remarkable growth, showcasing formidable capabilities in handling intricate multimodal tasks with exceptional performance. Recent research has underscored the inclination of large language models to passively accept defective inputs, often resulting in futile reasoning on invalid prompts. However, the same critical question of whether LMMs can actively detect and scrutinize erroneous inputs still remains unexplored. To address this gap, we introduce the Input Scrutiny Ability Evaluation Framework (ISEval), which encompasses seven categories of flawed premises and three evaluation metrics. Our extensive evaluation of ten advanced LMMs has identified key findings. Most models struggle to actively detect flawed textual premises without guidance, which reflects a strong reliance on explicit prompts for premise error identification. Error type affects performance: models excel at identifying logical fallacies but struggle with surface-level linguistic errors and certain conditional flaws. Modality trust varies-Gemini 2.5 pro and Claude Sonnet 4 balance visual and textual info, while aya-vision-8b over-rely on text in conflicts. These insights underscore the urgent need to enhance LMMs' proactive verification of input validity and shed novel insights into mitigating the problem. The code is available at https://github.com/MLGroupJLU/LMM_ISEval.