Воображение помогает визуальному мышлению, но пока не в латентном пространстве
Imagination Helps Visual Reasoning, But Not Yet in Latent Space
February 26, 2026
Авторы: You Li, Chi Chen, Yanghao Li, Fanhu Zeng, Kaiyu Huang, Jinan Xu, Maosong Sun
cs.AI
Аннотация
Латентное визуальное рассуждение стремится воспроизвести процесс человеческого воображения путем медитации через скрытые состояния мультимодальных больших языковых моделей. Хотя этот подход признан перспективной парадигмой для визуального рассуждения, лежащие в его основе механизмы, обеспечивающие эффективность, остаются неясными. Стремясь раскрыть истинный источник этой эффективности, мы исследуем обоснованность латентного рассуждения с помощью анализа каузального посредничества. Мы моделируем процесс как причинно-следственную цепь: входные данные как воздействие, латентные токены как медиатор, а конечный ответ как результат. Наши результаты выявляют два критических разрыва: (а) Разрыв «Вход-Латентность»: значительные возмущения на входе приводят к незначительным изменениям латентных токенов, что позволяет предположить, что латентные токены не эффективно учитывают входную последовательность. (б) Разрыв «Латентность-Ответ»: возмущения латентных токенов оказывают минимальное влияние на конечный ответ, указывая на ограниченный причинный эффект, который латентные токены оказывают на результат. Кроме того, расширенный probing-анализ показывает, что латентные токены кодируют ограниченную визуальную информацию и демонстрируют высокое сходство. Следовательно, мы ставим под сомнение необходимость латентного рассуждения и предлагаем простую альтернативу под названием CapImagine, которая учит модель явно использовать воображение через текст. Эксперименты на визуально-ориентированных бенчмарках показывают, что CapImagine значительно превосходит сложные базовые методы, работающие в латентном пространстве, подчеркивая превосходный потенциал визуального рассуждения через явное воображение.
English
Latent visual reasoning aims to mimic human's imagination process by meditating through hidden states of Multimodal Large Language Models. While recognized as a promising paradigm for visual reasoning, the underlying mechanisms driving its effectiveness remain unclear. Motivated to demystify the true source of its efficacy, we investigate the validity of latent reasoning using Causal Mediation Analysis. We model the process as a causal chain: the input as the treatment, the latent tokens as the mediator, and the final answer as the outcome. Our findings uncover two critical disconnections: (a) Input-Latent Disconnect: dramatic perturbations on the input result in negligible changes to the latent tokens, suggesting that latent tokens do not effectively attend to the input sequence. (b) Latent-Answer Disconnect: perturbations on the latent tokens yield minimal impact on the final answer, indicating the limited causal effect latent tokens imposing on the outcome. Furthermore, extensive probing analysis reveals that latent tokens encode limited visual information and exhibit high similarity. Consequently, we challenge the necessity of latent reasoning and propose a straightforward alternative named CapImagine, which teaches the model to explicitly imagine using text. Experiments on vision-centric benchmarks show that CapImagine significantly outperforms complex latent-space baselines, highlighting the superior potential of visual reasoning through explicit imagination.