Nascosto in piena vista: Analisi del ragionamento implicito nei modelli linguistici multimodali

Hidden in Plain Sight: Probing Implicit Reasoning in Multimodal Language Models

May 30, 2025

Autori: Qianqi Yan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) vengono sempre più impiegati in ambienti aperti e reali, dove gli input sono disordinati, poco specificati e non sempre affidabili. A differenza dei benchmark curati, questi contesti spesso includono istruzioni che fanno riferimento a oggetti mancanti o fatti contraddittori, si basano su riferimenti ambigui o richiedono azioni non fattibili. In tali casi, il successo non dipende solo dall'esecuzione del compito, ma dalla capacità del modello di rilevare quando qualcosa è silenziosamente sbagliato. Questo articolo presenta un'analisi sistematica di come gli attuali MLLM gestiscono tali scenari di ragionamento implicito: casi in cui l'errore non è esplicitamente dichiarato ma deve essere dedotto dal contesto. Utilizzando una suite diagnostica curata che copre quattro categorie di modalità di fallimento del mondo reale, valutiamo sei MLLM, inclusi o3 e GPT-4o, e scopriamo che i modelli spesso non riescono a evidenziare problemi nascosti, anche quando possiedono le necessarie capacità percettive e di ragionamento. Il prompting esplicito rivela che le capacità sottostanti esistono ma sono spesso soppresse a favore della conformità dell'utente. Mostriamo inoltre che semplici interventi al momento dell'inferenza, come il prompting di una persona cauta e, in particolare, la richiesta di una domanda chiarificatrice, possono recuperare drasticamente le prestazioni. I nostri risultati evidenziano un persistente divario tra competenza di ragionamento e conformità comportamentale negli attuali MLLM e suggeriscono strategie pratiche per rendere questi modelli più affidabili in ambienti poco vincolati.

English

Multimodal large language models (MLLMs) are increasingly deployed in open-ended, real-world environments where inputs are messy, underspecified, and not always trustworthy. Unlike curated benchmarks, these settings frequently involve instructions that refer to missing objects or contradictory facts, rely on ambiguous references, or request infeasible actions. In such cases, success hinges not on task execution alone, but on a model's ability to detect when something is silently wrong. This paper presents a systematic analysis of how current MLLMs handle such implicit reasoning scenarios: cases where the flaw is not explicitly stated but must be inferred from context. Using a curated diagnostic suite spanning four categories of real-world failure modes, we evaluate six MLLMs, including o3 and GPT-4o, and find that models frequently fail to surface hidden issues, even when they possess the necessary perceptual and reasoning skills. Explicit prompting reveals that the underlying capabilities exist but are often suppressed in favor of user compliance. We further show that simple inference-time interventions, such as cautious persona prompting and, in particular, requiring a clarifying question, can dramatically recover performance. Our findings highlight a persistent gap between reasoning competence and behavioral compliance in current MLLMs and suggest practical strategies for making these models more trustworthy in underconstrained environments.