Les grands modèles multimodaux peuvent-ils reconnaître activement les entrées défectueuses ? Un cadre d'évaluation systématique de leur capacité d'examen des entrées.

Can Large Multimodal Models Actively Recognize Faulty Inputs? A Systematic Evaluation Framework of Their Input Scrutiny Ability

August 6, 2025

papers.authors: Haiqi Yang, Jinzhe Li, Gengxu Li, Yi Chang, Yuan Wu

cs.AI

papers.abstract

Les modèles multimodaux de grande taille (LMMs) ont connu une croissance remarquable, démontrant des capacités impressionnantes dans la gestion de tâches multimodales complexes avec des performances exceptionnelles. Des recherches récentes ont mis en évidence la tendance des grands modèles de langage à accepter passivement des entrées défectueuses, conduisant souvent à un raisonnement infructueux sur des invites invalides. Cependant, la question cruciale de savoir si les LMMs peuvent activement détecter et examiner les entrées erronées reste encore inexplorée. Pour combler cette lacune, nous introduisons le cadre d'évaluation de la capacité de vérification des entrées (ISEval), qui englobe sept catégories de prémisses défectueuses et trois métriques d'évaluation. Notre évaluation approfondie de dix LMMs avancés a permis d'identifier des résultats clés. La plupart des modèles peinent à détecter activement des prémisses textuelles défectueuses sans guidance, ce qui reflète une forte dépendance à des invites explicites pour l'identification des erreurs de prémisses. Le type d'erreur affecte la performance : les modèles excellent dans l'identification des erreurs logiques mais peinent avec les erreurs linguistiques superficielles et certaines failles conditionnelles. La confiance dans les modalités varie : Gemini 2.5 pro et Claude Sonnet 4 équilibrent les informations visuelles et textuelles, tandis qu'aya-vision-8b se repose excessivement sur le texte en cas de conflits. Ces observations soulignent le besoin urgent d'améliorer la vérification proactive de la validité des entrées par les LMMs et apportent de nouvelles perspectives pour atténuer ce problème. Le code est disponible à l'adresse https://github.com/MLGroupJLU/LMM_ISEval.

English

Large Multimodal Models (LMMs) have witnessed remarkable growth, showcasing formidable capabilities in handling intricate multimodal tasks with exceptional performance. Recent research has underscored the inclination of large language models to passively accept defective inputs, often resulting in futile reasoning on invalid prompts. However, the same critical question of whether LMMs can actively detect and scrutinize erroneous inputs still remains unexplored. To address this gap, we introduce the Input Scrutiny Ability Evaluation Framework (ISEval), which encompasses seven categories of flawed premises and three evaluation metrics. Our extensive evaluation of ten advanced LMMs has identified key findings. Most models struggle to actively detect flawed textual premises without guidance, which reflects a strong reliance on explicit prompts for premise error identification. Error type affects performance: models excel at identifying logical fallacies but struggle with surface-level linguistic errors and certain conditional flaws. Modality trust varies-Gemini 2.5 pro and Claude Sonnet 4 balance visual and textual info, while aya-vision-8b over-rely on text in conflicts. These insights underscore the urgent need to enhance LMMs' proactive verification of input validity and shed novel insights into mitigating the problem. The code is available at https://github.com/MLGroupJLU/LMM_ISEval.