Caché à la vue de tous : Exploration du raisonnement implicite dans les modèles de langage multimodaux

Hidden in Plain Sight: Probing Implicit Reasoning in Multimodal Language Models

May 30, 2025

Auteurs: Qianqi Yan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Résumé

Les modèles de langage multimodal à grande échelle (MLLMs) sont de plus en plus déployés dans des environnements ouverts et réels, où les entrées sont désordonnées, sous-spécifiées et pas toujours fiables. Contrairement aux benchmarks soigneusement élaborés, ces contextes impliquent fréquemment des instructions qui font référence à des objets manquants ou à des faits contradictoires, reposent sur des références ambiguës ou demandent des actions irréalisables. Dans de tels cas, le succès ne dépend pas uniquement de l'exécution de la tâche, mais de la capacité du modèle à détecter quand quelque chose ne va pas silencieusement. Cet article présente une analyse systématique de la manière dont les MLLMs actuels gèrent ces scénarios de raisonnement implicite : des cas où le défaut n'est pas explicitement énoncé mais doit être déduit du contexte. En utilisant une suite diagnostique soigneusement élaborée couvrant quatre catégories de modes de défaillance du monde réel, nous évaluons six MLLMs, dont o3 et GPT-4o, et constatons que les modèles échouent fréquemment à révéler les problèmes cachés, même lorsqu'ils possèdent les compétences perceptuelles et de raisonnement nécessaires. Un incitatif explicite révèle que les capacités sous-jacentes existent mais sont souvent supprimées au profit de la conformité à l'utilisateur. Nous montrons en outre que des interventions simples au moment de l'inférence, comme l'incitation à une personnalité prudente et, en particulier, l'exigence d'une question de clarification, peuvent considérablement améliorer les performances. Nos résultats mettent en évidence un écart persistant entre la compétence de raisonnement et la conformité comportementale dans les MLLMs actuels et suggèrent des stratégies pratiques pour rendre ces modèles plus fiables dans des environnements sous-contraints.

English

Multimodal large language models (MLLMs) are increasingly deployed in open-ended, real-world environments where inputs are messy, underspecified, and not always trustworthy. Unlike curated benchmarks, these settings frequently involve instructions that refer to missing objects or contradictory facts, rely on ambiguous references, or request infeasible actions. In such cases, success hinges not on task execution alone, but on a model's ability to detect when something is silently wrong. This paper presents a systematic analysis of how current MLLMs handle such implicit reasoning scenarios: cases where the flaw is not explicitly stated but must be inferred from context. Using a curated diagnostic suite spanning four categories of real-world failure modes, we evaluate six MLLMs, including o3 and GPT-4o, and find that models frequently fail to surface hidden issues, even when they possess the necessary perceptual and reasoning skills. Explicit prompting reveals that the underlying capabilities exist but are often suppressed in favor of user compliance. We further show that simple inference-time interventions, such as cautious persona prompting and, in particular, requiring a clarifying question, can dramatically recover performance. Our findings highlight a persistent gap between reasoning competence and behavioral compliance in current MLLMs and suggest practical strategies for making these models more trustworthy in underconstrained environments.