VisMem: La Memoria Visiva Latente Sblocca il Potenziale dei Modelli Visione-Linguaggio
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
November 14, 2025
Autori: Xinlei Yu, Chengming Xu, Guibin Zhang, Zhangquan Chen, Yudong Zhang, Yongbo He, Peng-Tao Jiang, Jiangning Zhang, Xiaobin Hu, Shuicheng Yan
cs.AI
Abstract
Nonostante il notevole successo dei Modelli Visione-Linguaggio (VLM), le loro prestazioni in una serie di compiti visivi complessi sono spesso ostacolate da un "collo di bottiglia nell'elaborazione visiva": una propensione a perdere l'ancoraggio all'evidenza visiva e a mostrare un deficit nell'esperienza visiva contestualizzata durante la generazione prolungata. Traendo ispirazione dalla teoria cognitiva umana della memoria, che distingue una memoria a breve termine a dominanza visiva e una memoria a lungo termine a dominanza semantica, proponiamo VisMem, un framework allineato ai principi cognitivi che equipaggia i VLM con memorie visive latenti dinamiche: un modulo a breve termine per la ritenzione percettiva fine e un modulo a lungo termine per il consolidamento semantico astratto. Queste memorie vengono richiamate in modo fluido durante l'inferenza, consentendo ai VLM di mantenere sia la fedeltà percettiva che la coerenza semantica durante il processo di pensiero e generazione. Esperimenti estesi su diversi benchmark visivi per la comprensione, il ragionamento e la generazione rivelano che VisMem apporta un significativo incremento medio delle prestazioni dell'11,8% rispetto al modello vanilla e supera tutte le controparti, stabilendo un nuovo paradigma per il potenziamento della memoria nello spazio latente. Il codice sarà disponibile al seguente indirizzo: https://github.com/YU-deep/VisMem.git.
English
Despite the remarkable success of Vision-Language Models (VLMs), their performance on a range of complex visual tasks is often hindered by a "visual processing bottleneck": a propensity to lose grounding in visual evidence and exhibit a deficit in contextualized visual experience during prolonged generation. Drawing inspiration from human cognitive memory theory, which distinguishes short-term visually-dominant memory and long-term semantically-dominant memory, we propose VisMem, a cognitively-aligned framework that equips VLMs with dynamic latent vision memories, a short-term module for fine-grained perceptual retention and a long-term module for abstract semantic consolidation. These memories are seamlessly invoked during inference, allowing VLMs to maintain both perceptual fidelity and semantic consistency across thinking and generation. Extensive experiments across diverse visual benchmarks for understanding, reasoning, and generation reveal that VisMem delivers a significant average performance boost of 11.8% relative to the vanilla model and outperforms all counterparts, establishing a new paradigm for latent-space memory enhancement. The code will be available: https://github.com/YU-deep/VisMem.git.