Vorstellungskraft unterstützt das visuelle Denken, aber noch nicht im latenten Raum.
Imagination Helps Visual Reasoning, But Not Yet in Latent Space
February 26, 2026
Autoren: You Li, Chi Chen, Yanghao Li, Fanhu Zeng, Kaiyu Huang, Jinan Xu, Maosong Sun
cs.AI
Zusammenfassung
Latentes visuelles Reasoning zielt darauf ab, den menschlichen Vorstellungsprozess nachzuahmen, indem durch versteckte Zustände Multimodaler Großsprachmodelle meditiert wird. Obwohl es als vielversprechendes Paradigma für visuelles Reasoning anerkannt ist, bleiben die zugrundeliegenden Mechanismen, die seine Wirksamkeit antreiben, unklar. Motiviert durch das Bestreben, die wahre Quelle seiner Effizienz zu entschlüsseln, untersuchen wir die Validität des latenten Reasonings mithilfe der Kausalen Mediationsanalyse. Wir modellieren den Prozess als kausale Kette: die Eingabe als Behandlung, die latenten Tokens als Mediator und die endgültige Antwort als Ergebnis. Unsere Ergebnisse decken zwei kritische Trennungen auf: (a) Eingabe-Latente-Trennung: Dramatische Störungen der Eingabe führen zu vernachlässigbaren Änderungen an den latenten Tokens, was darauf hindeutet, dass latente Tokens die Eingabesequenz nicht effektiv beachten. (b) Latente-Antwort-Trennung: Störungen der latenten Tokens haben minimalen Einfluss auf die endgültige Antwort, was auf die begrenzte kausale Wirkung hindeutet, die latente Tokens auf das Ergebnis ausüben. Darüber hinaus zeigt eine umfangreiche Analyse, dass latente Tokens nur begrenzte visuelle Informationen kodieren und eine hohe Ähnlichkeit aufweisen. Folglich stellen wir die Notwendigkeit des latenten Reasonings in Frage und schlagen eine einfache Alternative namens CapImagine vor, die dem Modell beibringt, explizit mit Text zu imaginieren. Experimente auf visuell zentrierten Benchmarks zeigen, dass CapImagine komplexe Baseline-Modelle im latenten Raum deutlich übertrifft und das überlegene Potenzial des visuellen Reasonings durch explizite Imagination hervorhebt.
English
Latent visual reasoning aims to mimic human's imagination process by meditating through hidden states of Multimodal Large Language Models. While recognized as a promising paradigm for visual reasoning, the underlying mechanisms driving its effectiveness remain unclear. Motivated to demystify the true source of its efficacy, we investigate the validity of latent reasoning using Causal Mediation Analysis. We model the process as a causal chain: the input as the treatment, the latent tokens as the mediator, and the final answer as the outcome. Our findings uncover two critical disconnections: (a) Input-Latent Disconnect: dramatic perturbations on the input result in negligible changes to the latent tokens, suggesting that latent tokens do not effectively attend to the input sequence. (b) Latent-Answer Disconnect: perturbations on the latent tokens yield minimal impact on the final answer, indicating the limited causal effect latent tokens imposing on the outcome. Furthermore, extensive probing analysis reveals that latent tokens encode limited visual information and exhibit high similarity. Consequently, we challenge the necessity of latent reasoning and propose a straightforward alternative named CapImagine, which teaches the model to explicitly imagine using text. Experiments on vision-centric benchmarks show that CapImagine significantly outperforms complex latent-space baselines, highlighting the superior potential of visual reasoning through explicit imagination.