VisMem: Latentes Bildgedächtnis erschließt das Potenzial von Vision-Language-Modellen
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
November 14, 2025
papers.authors: Xinlei Yu, Chengming Xu, Guibin Zhang, Zhangquan Chen, Yudong Zhang, Yongbo He, Peng-Tao Jiang, Jiangning Zhang, Xiaobin Hu, Shuicheng Yan
cs.AI
papers.abstract
Trotz der bemerkenswerten Erfolge von Vision-Sprach-Modellen (VLMs) wird ihre Leistung bei einer Reihe komplexer visueller Aufgaben häufig durch einen "visuellen Verarbeitungsengpass" beeinträchtigt: eine Tendenz, den Bezug zu visuellen Beweisen zu verlieren und einen Mangel an kontextualisierter visueller Erfahrung während längerer Generierungsprozesse zu zeigen. Inspiriert von der menschlichen Kognitionsgedächtnistheorie, die zwischen kurzfristigem, visuell-dominiertem Gedächtnis und langfristigem, semantisch-dominiertem Gedächtnis unterscheidet, schlagen wir VisMem vor, einen kognitiv ausgerichteten Rahmen, der VLMs mit dynamischen latenten Visuengedächtnissen ausstattet – ein Kurzzeitmodul zur feinkörnigen perzeptuellen Beibehaltung und ein Langzeitmodul zur abstrakten semantischen Konsolidierung. Diese Gedächtnisse werden während des Inferierens nahtlos abgerufen, was es VLMs ermöglicht, sowohl perzeptive Treue als auch semantische Konsistenz über Denken und Generierung hinweg aufrechtzuerhalten. Umfangreiche Experimente über diverse visuelle Benchmarks für Verstehen, Reasoning und Generierung zeigen, dass VisMem eine signifikante durchschnittliche Leistungssteigerung von 11,8 % gegenüber dem Basismodell erzielt und alle vergleichbaren Ansätze übertrifft, wodurch ein neues Paradigma für die Latent-Space-Gedächtnisverbesserung etabliert wird. Der Code wird verfügbar sein: https://github.com/YU-deep/VisMem.git.
English
Despite the remarkable success of Vision-Language Models (VLMs), their performance on a range of complex visual tasks is often hindered by a "visual processing bottleneck": a propensity to lose grounding in visual evidence and exhibit a deficit in contextualized visual experience during prolonged generation. Drawing inspiration from human cognitive memory theory, which distinguishes short-term visually-dominant memory and long-term semantically-dominant memory, we propose VisMem, a cognitively-aligned framework that equips VLMs with dynamic latent vision memories, a short-term module for fine-grained perceptual retention and a long-term module for abstract semantic consolidation. These memories are seamlessly invoked during inference, allowing VLMs to maintain both perceptual fidelity and semantic consistency across thinking and generation. Extensive experiments across diverse visual benchmarks for understanding, reasoning, and generation reveal that VisMem delivers a significant average performance boost of 11.8% relative to the vanilla model and outperforms all counterparts, establishing a new paradigm for latent-space memory enhancement. The code will be available: https://github.com/YU-deep/VisMem.git.