Kunnen grote multimodale modellen actief defecte invoer herkennen? Een systematisch evaluatiekader voor hun vermogen tot invoercontrole

Can Large Multimodal Models Actively Recognize Faulty Inputs? A Systematic Evaluation Framework of Their Input Scrutiny Ability

August 6, 2025

Auteurs: Haiqi Yang, Jinzhe Li, Gengxu Li, Yi Chang, Yuan Wu

cs.AI

Samenvatting

Grote Multimodale Modellen (LMMs) hebben een opmerkelijke groei doorgemaakt en tonen indrukwekkende capaciteiten in het uitvoeren van complexe multimodale taken met uitzonderlijke prestaties. Recent onderzoek heeft benadrukt dat grote taalmodellen de neiging hebben om defecte invoer passief te accepteren, wat vaak leidt tot zinloze redeneringen op basis van ongeldige prompts. De cruciale vraag of LMMs actief foutieve invoer kunnen detecteren en onderzoeken, blijft echter nog onbeantwoord. Om dit gat te dichten, introduceren we het Input Scrutiny Ability Evaluation Framework (ISEval), dat zeven categorieën van gebrekkige premissen en drie evaluatiemetrics omvat. Onze uitgebreide evaluatie van tien geavanceerde LMMs heeft belangrijke bevindingen opgeleverd. De meeste modellen hebben moeite om actief gebrekkige tekstuele premissen te detecteren zonder begeleiding, wat wijst op een sterke afhankelijkheid van expliciete prompts voor het identificeren van premissefouten. Het type fout beïnvloedt de prestaties: modellen blinken uit in het identificeren van logische denkfouten, maar hebben moeite met oppervlakkige taalkundige fouten en bepaalde conditionele gebreken. De vertrouwensrelatie tussen modaliteiten varieert: Gemini 2.5 pro en Claude Sonnet 4 balanceren visuele en tekstuele informatie, terwijl aya-vision-8b te veel vertrouwt op tekst bij conflicten. Deze inzichten onderstrepen de dringende noodzaak om de proactieve verificatie van de geldigheid van invoer door LMMs te verbeteren en bieden nieuwe inzichten om het probleem te mitigeren. De code is beschikbaar op https://github.com/MLGroupJLU/LMM_ISEval.

English

Large Multimodal Models (LMMs) have witnessed remarkable growth, showcasing formidable capabilities in handling intricate multimodal tasks with exceptional performance. Recent research has underscored the inclination of large language models to passively accept defective inputs, often resulting in futile reasoning on invalid prompts. However, the same critical question of whether LMMs can actively detect and scrutinize erroneous inputs still remains unexplored. To address this gap, we introduce the Input Scrutiny Ability Evaluation Framework (ISEval), which encompasses seven categories of flawed premises and three evaluation metrics. Our extensive evaluation of ten advanced LMMs has identified key findings. Most models struggle to actively detect flawed textual premises without guidance, which reflects a strong reliance on explicit prompts for premise error identification. Error type affects performance: models excel at identifying logical fallacies but struggle with surface-level linguistic errors and certain conditional flaws. Modality trust varies-Gemini 2.5 pro and Claude Sonnet 4 balance visual and textual info, while aya-vision-8b over-rely on text in conflicts. These insights underscore the urgent need to enhance LMMs' proactive verification of input validity and shed novel insights into mitigating the problem. The code is available at https://github.com/MLGroupJLU/LMM_ISEval.