¿Pueden los modelos multimodales grandes reconocer activamente entradas defectuosas? Un marco de evaluación sistemática de su capacidad de escrutinio de entradas.

Can Large Multimodal Models Actively Recognize Faulty Inputs? A Systematic Evaluation Framework of Their Input Scrutiny Ability

August 6, 2025

Autores: Haiqi Yang, Jinzhe Li, Gengxu Li, Yi Chang, Yuan Wu

cs.AI

Resumen

Los Modelos Multimodales de Gran Escala (LMMs, por sus siglas en inglés) han experimentado un crecimiento notable, demostrando capacidades formidables para manejar tareas multimodales complejas con un rendimiento excepcional. Investigaciones recientes han destacado la tendencia de los modelos de lenguaje de gran escala a aceptar pasivamente entradas defectuosas, lo que a menudo resulta en razonamientos infructuosos sobre indicaciones inválidas. Sin embargo, la misma pregunta crítica de si los LMMs pueden detectar y examinar activamente entradas erróneas sigue sin explorarse. Para abordar esta brecha, presentamos el Marco de Evaluación de la Capacidad de Escrutinio de Entradas (ISEval), que abarca siete categorías de premisas defectuosas y tres métricas de evaluación. Nuestra evaluación exhaustiva de diez LMMs avanzados ha identificado hallazgos clave. La mayoría de los modelos tienen dificultades para detectar activamente premisas textuales defectuosas sin orientación, lo que refleja una fuerte dependencia de indicaciones explícitas para la identificación de errores en las premisas. El tipo de error afecta el rendimiento: los modelos sobresalen en la identificación de falacias lógicas, pero luchan con errores lingüísticos superficiales y ciertos defectos condicionales. La confianza en la modalidad varía: Gemini 2.5 pro y Claude Sonnet 4 equilibran la información visual y textual, mientras que aya-vision-8b depende en exceso del texto en casos de conflicto. Estas ideas subrayan la necesidad urgente de mejorar la verificación proactiva de la validez de las entradas en los LMMs y ofrecen nuevas perspectivas para mitigar el problema. El código está disponible en https://github.com/MLGroupJLU/LMM_ISEval.

English

Large Multimodal Models (LMMs) have witnessed remarkable growth, showcasing formidable capabilities in handling intricate multimodal tasks with exceptional performance. Recent research has underscored the inclination of large language models to passively accept defective inputs, often resulting in futile reasoning on invalid prompts. However, the same critical question of whether LMMs can actively detect and scrutinize erroneous inputs still remains unexplored. To address this gap, we introduce the Input Scrutiny Ability Evaluation Framework (ISEval), which encompasses seven categories of flawed premises and three evaluation metrics. Our extensive evaluation of ten advanced LMMs has identified key findings. Most models struggle to actively detect flawed textual premises without guidance, which reflects a strong reliance on explicit prompts for premise error identification. Error type affects performance: models excel at identifying logical fallacies but struggle with surface-level linguistic errors and certain conditional flaws. Modality trust varies-Gemini 2.5 pro and Claude Sonnet 4 balance visual and textual info, while aya-vision-8b over-rely on text in conflicts. These insights underscore the urgent need to enhance LMMs' proactive verification of input validity and shed novel insights into mitigating the problem. The code is available at https://github.com/MLGroupJLU/LMM_ISEval.