A Imaginação Auxilia o Raciocínio Visual, Mas Ainda Não no Espaço Latente
Imagination Helps Visual Reasoning, But Not Yet in Latent Space
February 26, 2026
Autores: You Li, Chi Chen, Yanghao Li, Fanhu Zeng, Kaiyu Huang, Jinan Xu, Maosong Sun
cs.AI
Resumo
O raciocínio visual latente visa imitar o processo de imaginação humana meditando através dos estados ocultos dos Modelos de Linguagem Multimodais de Grande Escala. Embora reconhecido como um paradigma promissor para o raciocínio visual, os mecanismos subjacentes que impulsionam sua eficácia permanecem obscuros. Motivados a desvendar a verdadeira fonte de sua eficácia, investigamos a validade do raciocínio latente usando Análise de Mediação Causal. Modelamos o processo como uma cadeia causal: a entrada como tratamento, os *tokens* latentes como mediador e a resposta final como resultado. Nossas descobertas revelam duas desconexões críticas: (a) Desconexão Entrada-Latente: perturbações drásticas na entrada resultam em alterações insignificantes nos *tokens* latentes, sugerindo que os *tokens* latentes não atendem efetivamente à sequência de entrada. (b) Desconexão Latente-Resposta: perturbações nos *tokens* latentes têm impacto mínimo na resposta final, indicando o limitado efeito causal que os *tokens* latentes exercem sobre o resultado. Além disso, uma extensa análise de *probing* revela que os *tokens* latentes codificam informações visuais limitadas e exibem alta similaridade. Consequentemente, questionamos a necessidade do raciocínio latente e propomos uma alternativa simples chamada CapImagine, que ensina o modelo a imaginar explicitamente usando texto. Experimentos em *benchmarks* centrados na visão mostram que o CapImagine supera significativamente as complexas linhas de base no espaço latente, destacando o potencial superior do raciocínio visual através da imaginação explícita.
English
Latent visual reasoning aims to mimic human's imagination process by meditating through hidden states of Multimodal Large Language Models. While recognized as a promising paradigm for visual reasoning, the underlying mechanisms driving its effectiveness remain unclear. Motivated to demystify the true source of its efficacy, we investigate the validity of latent reasoning using Causal Mediation Analysis. We model the process as a causal chain: the input as the treatment, the latent tokens as the mediator, and the final answer as the outcome. Our findings uncover two critical disconnections: (a) Input-Latent Disconnect: dramatic perturbations on the input result in negligible changes to the latent tokens, suggesting that latent tokens do not effectively attend to the input sequence. (b) Latent-Answer Disconnect: perturbations on the latent tokens yield minimal impact on the final answer, indicating the limited causal effect latent tokens imposing on the outcome. Furthermore, extensive probing analysis reveals that latent tokens encode limited visual information and exhibit high similarity. Consequently, we challenge the necessity of latent reasoning and propose a straightforward alternative named CapImagine, which teaches the model to explicitly imagine using text. Experiments on vision-centric benchmarks show that CapImagine significantly outperforms complex latent-space baselines, highlighting the superior potential of visual reasoning through explicit imagination.