Verborgen in Sichtweite: Untersuchung impliziten Denkens in multimodalen Sprachmodellen

Hidden in Plain Sight: Probing Implicit Reasoning in Multimodal Language Models

May 30, 2025

Autoren: Qianqi Yan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) werden zunehmend in offenen, realen Umgebungen eingesetzt, in denen Eingaben unstrukturiert, unvollständig und nicht immer vertrauenswürdig sind. Im Gegensatz zu kuratierten Benchmarks beinhalten diese Szenarien häufig Anweisungen, die sich auf fehlende Objekte oder widersprüchliche Fakten beziehen, auf mehrdeutige Referenzen angewiesen sind oder unmögliche Handlungen verlangen. In solchen Fällen hängt der Erfolg nicht allein von der Aufgabenausführung ab, sondern von der Fähigkeit des Modells, zu erkennen, wenn etwas stillschweigend falsch ist. Diese Arbeit präsentiert eine systematische Analyse, wie aktuelle MLLMs mit solchen impliziten Denkszenarien umgehen: Fälle, in denen der Fehler nicht explizit genannt wird, sondern aus dem Kontext erschlossen werden muss. Mithilfe eines kuratierten Diagnosesets, das vier Kategorien realer Fehlermodi umfasst, evaluieren wir sechs MLLMs, darunter o3 und GPT-4o, und stellen fest, dass Modelle häufig versteckte Probleme nicht aufdecken, selbst wenn sie über die notwendigen Wahrnehmungs- und Denkfähigkeiten verfügen. Explizites Prompting zeigt, dass die zugrunde liegenden Fähigkeiten vorhanden sind, jedoch oft zugunsten der Benutzerkonformität unterdrückt werden. Wir zeigen weiter, dass einfache Eingriffe zur Inferenzzeit, wie vorsichtiges Persona-Prompting und insbesondere die Anforderung einer klärenden Frage, die Leistung dramatisch verbessern können. Unsere Ergebnisse verdeutlichen eine anhaltende Lücke zwischen Denkkompetenz und Verhaltenskonformität bei aktuellen MLLMs und legen praktische Strategien nahe, um diese Modelle in unterbeschränkten Umgebungen vertrauenswürdiger zu machen.

English

Multimodal large language models (MLLMs) are increasingly deployed in open-ended, real-world environments where inputs are messy, underspecified, and not always trustworthy. Unlike curated benchmarks, these settings frequently involve instructions that refer to missing objects or contradictory facts, rely on ambiguous references, or request infeasible actions. In such cases, success hinges not on task execution alone, but on a model's ability to detect when something is silently wrong. This paper presents a systematic analysis of how current MLLMs handle such implicit reasoning scenarios: cases where the flaw is not explicitly stated but must be inferred from context. Using a curated diagnostic suite spanning four categories of real-world failure modes, we evaluate six MLLMs, including o3 and GPT-4o, and find that models frequently fail to surface hidden issues, even when they possess the necessary perceptual and reasoning skills. Explicit prompting reveals that the underlying capabilities exist but are often suppressed in favor of user compliance. We further show that simple inference-time interventions, such as cautious persona prompting and, in particular, requiring a clarifying question, can dramatically recover performance. Our findings highlight a persistent gap between reasoning competence and behavioral compliance in current MLLMs and suggest practical strategies for making these models more trustworthy in underconstrained environments.