VisMem: Latente Visuele Geheugen Ontgrendelt Potentieel van Vision-Language Modellen
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
November 14, 2025
Auteurs: Xinlei Yu, Chengming Xu, Guibin Zhang, Zhangquan Chen, Yudong Zhang, Yongbo He, Peng-Tao Jiang, Jiangning Zhang, Xiaobin Hu, Shuicheng Yan
cs.AI
Samenvatting
Ondanks de opmerkelijke successen van Vision-Language Models (VLMs) wordt hun prestaties op een reeks complexe visuele taken vaak belemmerd door een "visueel verwerkingsknelpunt": de neiging om de verankering in visueel bewijs te verliezen en een tekort te vertonen aan gecontextualiseerde visuele ervaring tijdens langdurige generatie. Geïnspireerd door de menselijke cognitieve geheugentheorie, die onderscheid maakt tussen kortetermijngeheugen (visueel dominant) en langetermijngeheugen (semantisch dominant), stellen wij VisMem voor: een cognitief afgestemd framework dat VLMs uitrust met dynamische latente visiegeheugens – een kortetermijnmodule voor fijnkorrelige perceptuele retentie en een langetermijnmodule voor abstracte semantische consolidatie. Deze geheugens worden naadloos ingezet tijdens inferentie, waardoor VLMs zowel perceptuele trouw als semantische consistentie kunnen behouden tijdens denken en genereren. Uitgebreide experimenten op diverse visuele benchmarks voor begrip, redeneren en genereren tonen aan dat VisMem een significante gemiddelde prestatieverbetering van 11.8% oplevert ten opzichte van het standaardmodel en alle vergelijkbare modellen overtreft, waarmee een nieuw paradigma voor latent-ruimte geheugenverbetering wordt gevestigd. De code zal beschikbaar zijn: https://github.com/YU-deep/VisMem.git.
English
Despite the remarkable success of Vision-Language Models (VLMs), their performance on a range of complex visual tasks is often hindered by a "visual processing bottleneck": a propensity to lose grounding in visual evidence and exhibit a deficit in contextualized visual experience during prolonged generation. Drawing inspiration from human cognitive memory theory, which distinguishes short-term visually-dominant memory and long-term semantically-dominant memory, we propose VisMem, a cognitively-aligned framework that equips VLMs with dynamic latent vision memories, a short-term module for fine-grained perceptual retention and a long-term module for abstract semantic consolidation. These memories are seamlessly invoked during inference, allowing VLMs to maintain both perceptual fidelity and semantic consistency across thinking and generation. Extensive experiments across diverse visual benchmarks for understanding, reasoning, and generation reveal that VisMem delivers a significant average performance boost of 11.8% relative to the vanilla model and outperforms all counterparts, establishing a new paradigm for latent-space memory enhancement. The code will be available: https://github.com/YU-deep/VisMem.git.