I grandi modelli multimodali possono riconoscere attivamente input difettosi? Un quadro di valutazione sistematica della loro capacità di analisi degli input

Can Large Multimodal Models Actively Recognize Faulty Inputs? A Systematic Evaluation Framework of Their Input Scrutiny Ability

August 6, 2025

Autori: Haiqi Yang, Jinzhe Li, Gengxu Li, Yi Chang, Yuan Wu

cs.AI

Abstract

I Large Multimodal Models (LMM) hanno registrato una crescita notevole, dimostrando capacità formidabili nel gestire complessi compiti multimodali con prestazioni eccezionali. Ricerche recenti hanno evidenziato la tendenza dei grandi modelli linguistici ad accettare passivamente input difettosi, spesso portando a ragionamenti infruttuosi su prompt non validi. Tuttavia, la stessa questione cruciale se i LMM possano rilevare e analizzare attivamente input errati rimane ancora inesplorata. Per colmare questa lacuna, introduciamo il Framework di Valutazione della Capacità di Scrutinio degli Input (ISEval), che comprende sette categorie di premesse difettose e tre metriche di valutazione. La nostra ampia valutazione di dieci LMM avanzati ha identificato risultati chiave. La maggior parte dei modelli fatica a rilevare attivamente premesse testuali difettose senza guida, riflettendo una forte dipendenza da prompt espliciti per l'identificazione degli errori nelle premesse. Il tipo di errore influisce sulle prestazioni: i modelli eccellono nell'identificare fallacie logiche ma hanno difficoltà con errori linguistici superficiali e alcuni difetti condizionali. La fiducia nella modalità varia: Gemini 2.5 pro e Claude Sonnet 4 bilanciano informazioni visive e testuali, mentre aya-vision-8b si affida eccessivamente al testo in caso di conflitti. Queste intuizioni sottolineano l'urgente necessità di migliorare la verifica proattiva della validità degli input da parte dei LMM e offrono nuove prospettive per mitigare il problema. Il codice è disponibile all'indirizzo https://github.com/MLGroupJLU/LMM_ISEval.

English

Large Multimodal Models (LMMs) have witnessed remarkable growth, showcasing formidable capabilities in handling intricate multimodal tasks with exceptional performance. Recent research has underscored the inclination of large language models to passively accept defective inputs, often resulting in futile reasoning on invalid prompts. However, the same critical question of whether LMMs can actively detect and scrutinize erroneous inputs still remains unexplored. To address this gap, we introduce the Input Scrutiny Ability Evaluation Framework (ISEval), which encompasses seven categories of flawed premises and three evaluation metrics. Our extensive evaluation of ten advanced LMMs has identified key findings. Most models struggle to actively detect flawed textual premises without guidance, which reflects a strong reliance on explicit prompts for premise error identification. Error type affects performance: models excel at identifying logical fallacies but struggle with surface-level linguistic errors and certain conditional flaws. Modality trust varies-Gemini 2.5 pro and Claude Sonnet 4 balance visual and textual info, while aya-vision-8b over-rely on text in conflicts. These insights underscore the urgent need to enhance LMMs' proactive verification of input validity and shed novel insights into mitigating the problem. The code is available at https://github.com/MLGroupJLU/LMM_ISEval.