VisMem : La mémoire visuelle latente libère le potentiel des modèles vision-langage
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
November 14, 2025
papers.authors: Xinlei Yu, Chengming Xu, Guibin Zhang, Zhangquan Chen, Yudong Zhang, Yongbo He, Peng-Tao Jiang, Jiangning Zhang, Xiaobin Hu, Shuicheng Yan
cs.AI
papers.abstract
Malgré le succès remarquable des modèles vision-langage (VLM), leurs performances sur une série de tâches visuelles complexes sont souvent limitées par un « goulot d'étranglement du traitement visuel » : une propension à perdre l'ancrage dans les preuves visuelles et à manifester un déficit d'expérience visuelle contextualisée lors de générations prolongées. En s'inspirant de la théorie cognitive de la mémoire humaine, qui distingue la mémoire à court terme à dominance visuelle et la mémoire à long terme à dominance sémantique, nous proposons VisMem, un framework aligné sur la cognition qui équipe les VLM de mémoires visuelles latentes dynamiques, comprenant un module à court terme pour la rétention perceptive fine et un module à long terme pour la consolidation sémantique abstraite. Ces mémoires sont invoquées de manière transparente lors de l'inférence, permettant aux VLM de maintenir à la fois la fidélité perceptive et la cohérence sémantique durant la réflexion et la génération. Des expériences approfondies sur divers benchmarks visuels pour la compréhension, le raisonnement et la génération montrent que VisMem procure une amélioration significative des performances moyenne de 11,8 % par rapport au modèle standard et surpasse toutes les approches concurrentes, établissant un nouveau paradigme pour l'amélioration de la mémoire dans l'espace latent. Le code sera disponible à l'adresse : https://github.com/YU-deep/VisMem.git.
English
Despite the remarkable success of Vision-Language Models (VLMs), their performance on a range of complex visual tasks is often hindered by a "visual processing bottleneck": a propensity to lose grounding in visual evidence and exhibit a deficit in contextualized visual experience during prolonged generation. Drawing inspiration from human cognitive memory theory, which distinguishes short-term visually-dominant memory and long-term semantically-dominant memory, we propose VisMem, a cognitively-aligned framework that equips VLMs with dynamic latent vision memories, a short-term module for fine-grained perceptual retention and a long-term module for abstract semantic consolidation. These memories are seamlessly invoked during inference, allowing VLMs to maintain both perceptual fidelity and semantic consistency across thinking and generation. Extensive experiments across diverse visual benchmarks for understanding, reasoning, and generation reveal that VisMem delivers a significant average performance boost of 11.8% relative to the vanilla model and outperforms all counterparts, establishing a new paradigm for latent-space memory enhancement. The code will be available: https://github.com/YU-deep/VisMem.git.