Verborgen in het Volle Zicht: Onderzoek naar Impliciete Redenering in Multimodale Taalmodellen

Hidden in Plain Sight: Probing Implicit Reasoning in Multimodal Language Models

May 30, 2025

Auteurs: Qianqi Yan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLMs) worden steeds vaker ingezet in open, realistische omgevingen waar invoer rommelig, onvolledig en niet altijd betrouwbaar is. In tegenstelling tot zorgvuldig samengestelde benchmarks, omvatten deze situaties vaak instructies die verwijzen naar ontbrekende objecten of tegenstrijdige feiten, steunen op dubbelzinnige referenties, of vragen om onuitvoerbare acties. In dergelijke gevallen hangt succes niet alleen af van de uitvoering van de taak, maar ook van het vermogen van een model om te detecteren wanneer er iets stilletjes misgaat. Dit artikel presenteert een systematische analyse van hoe huidige MLLMs omgaan met dergelijke impliciete redeneerscenario's: gevallen waarin het probleem niet expliciet wordt vermeld, maar uit de context moet worden afgeleid. Met behulp van een zorgvuldig samengestelde diagnostische suite die vier categorieën van realistische foutmodes omvat, evalueren we zes MLLMs, waaronder o3 en GPT-4o, en constateren we dat modellen vaak falen in het signaleren van verborgen problemen, zelfs wanneer ze over de benodigde perceptuele en redeneervaardigheden beschikken. Expliciete prompting laat zien dat de onderliggende capaciteiten wel degelijk aanwezig zijn, maar vaak worden onderdrukt ten gunste van gebruikerscompliance. We tonen verder aan dat eenvoudige interventies tijdens de inferentie, zoals voorzichtige persona-prompting en, in het bijzonder, het vereisen van een verhelderende vraag, de prestaties aanzienlijk kunnen verbeteren. Onze bevindingen benadrukken een hardnekkige kloof tussen redeneercompetentie en gedragsmatige compliance in huidige MLLMs en suggereren praktische strategieën om deze modellen betrouwbaarder te maken in onbeperkte omgevingen.

English

Multimodal large language models (MLLMs) are increasingly deployed in open-ended, real-world environments where inputs are messy, underspecified, and not always trustworthy. Unlike curated benchmarks, these settings frequently involve instructions that refer to missing objects or contradictory facts, rely on ambiguous references, or request infeasible actions. In such cases, success hinges not on task execution alone, but on a model's ability to detect when something is silently wrong. This paper presents a systematic analysis of how current MLLMs handle such implicit reasoning scenarios: cases where the flaw is not explicitly stated but must be inferred from context. Using a curated diagnostic suite spanning four categories of real-world failure modes, we evaluate six MLLMs, including o3 and GPT-4o, and find that models frequently fail to surface hidden issues, even when they possess the necessary perceptual and reasoning skills. Explicit prompting reveals that the underlying capabilities exist but are often suppressed in favor of user compliance. We further show that simple inference-time interventions, such as cautious persona prompting and, in particular, requiring a clarifying question, can dramatically recover performance. Our findings highlight a persistent gap between reasoning competence and behavioral compliance in current MLLMs and suggest practical strategies for making these models more trustworthy in underconstrained environments.