Escondido à Vista de Todos: Investigando o Raciocínio Implícito em Modelos de Linguagem Multimodais

Hidden in Plain Sight: Probing Implicit Reasoning in Multimodal Language Models

May 30, 2025

Autores: Qianqi Yan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) estão sendo cada vez mais implantados em ambientes abertos e do mundo real, onde as entradas são desorganizadas, subespecificadas e nem sempre confiáveis. Diferentemente de benchmarks curados, esses cenários frequentemente envolvem instruções que se referem a objetos ausentes ou fatos contraditórios, dependem de referências ambíguas ou solicitam ações inviáveis. Nesses casos, o sucesso não depende apenas da execução da tarefa, mas da capacidade do modelo de detectar quando algo está silenciosamente errado. Este artigo apresenta uma análise sistemática de como os MLLMs atuais lidam com esses cenários de raciocínio implícito: casos em que a falha não é explicitamente declarada, mas deve ser inferida a partir do contexto. Utilizando um conjunto diagnóstico curado que abrange quatro categorias de modos de falha do mundo real, avaliamos seis MLLMs, incluindo o3 e GPT-4o, e descobrimos que os modelos frequentemente falham em identificar problemas ocultos, mesmo quando possuem as habilidades perceptivas e de raciocínio necessárias. O prompting explícito revela que as capacidades subjacentes existem, mas muitas vezes são suprimidas em favor da conformidade com o usuário. Mostramos ainda que intervenções simples no momento da inferência, como o prompting de persona cautelosa e, em particular, a exigência de uma pergunta de esclarecimento, podem recuperar dramaticamente o desempenho. Nossas descobertas destacam uma lacuna persistente entre a competência de raciocínio e a conformidade comportamental nos MLLMs atuais e sugerem estratégias práticas para tornar esses modelos mais confiáveis em ambientes subrestritos.

English

Multimodal large language models (MLLMs) are increasingly deployed in open-ended, real-world environments where inputs are messy, underspecified, and not always trustworthy. Unlike curated benchmarks, these settings frequently involve instructions that refer to missing objects or contradictory facts, rely on ambiguous references, or request infeasible actions. In such cases, success hinges not on task execution alone, but on a model's ability to detect when something is silently wrong. This paper presents a systematic analysis of how current MLLMs handle such implicit reasoning scenarios: cases where the flaw is not explicitly stated but must be inferred from context. Using a curated diagnostic suite spanning four categories of real-world failure modes, we evaluate six MLLMs, including o3 and GPT-4o, and find that models frequently fail to surface hidden issues, even when they possess the necessary perceptual and reasoning skills. Explicit prompting reveals that the underlying capabilities exist but are often suppressed in favor of user compliance. We further show that simple inference-time interventions, such as cautious persona prompting and, in particular, requiring a clarifying question, can dramatically recover performance. Our findings highlight a persistent gap between reasoning competence and behavioral compliance in current MLLMs and suggest practical strategies for making these models more trustworthy in underconstrained environments.