VisMem: Memória Visual Latente Desbloqueia o Potencial dos Modelos de Visão e Linguagem
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
November 14, 2025
Autores: Xinlei Yu, Chengming Xu, Guibin Zhang, Zhangquan Chen, Yudong Zhang, Yongbo He, Peng-Tao Jiang, Jiangning Zhang, Xiaobin Hu, Shuicheng Yan
cs.AI
Resumo
Apesar do notável sucesso dos Modelos de Visão e Linguagem (VLMs), o seu desempenho numa série de tarefas visuais complexas é frequentemente limitado por um "gargalo de processamento visual": uma propensão para perder o contacto com a evidência visual e exibir um défice de experiência visual contextualizada durante gerações prolongadas. Inspirados pela teoria cognitiva da memória humana, que distingue a memória de curto prazo, dominada pelo visual, da memória de longo prazo, dominada pelo semântico, propomos o VisMem, uma estrutura alinhada cognitivamente que equipa os VLMs com memórias visuais latentes dinâmicas – um módulo de curto prazo para retenção perceptual de alto detalhe e um módulo de longo prazo para consolidação semântica abstrata. Estas memórias são invocadas de forma contínua durante a inferência, permitindo que os VLMs mantenham tanto a fidelidade perceptual como a consistência semântica ao longo do pensamento e da geração. Experiências extensas em diversas benchmarks visuais para compreensão, raciocínio e geração revelam que o VisMem proporciona um aumento médio significativo de desempenho de 11.8% relativamente ao modelo base e supera todas as alternativas, estabelecendo um novo paradigma para a melhoria de memória no espaço latente. O código estará disponível em: https://github.com/YU-deep/VisMem.git.
English
Despite the remarkable success of Vision-Language Models (VLMs), their performance on a range of complex visual tasks is often hindered by a "visual processing bottleneck": a propensity to lose grounding in visual evidence and exhibit a deficit in contextualized visual experience during prolonged generation. Drawing inspiration from human cognitive memory theory, which distinguishes short-term visually-dominant memory and long-term semantically-dominant memory, we propose VisMem, a cognitively-aligned framework that equips VLMs with dynamic latent vision memories, a short-term module for fine-grained perceptual retention and a long-term module for abstract semantic consolidation. These memories are seamlessly invoked during inference, allowing VLMs to maintain both perceptual fidelity and semantic consistency across thinking and generation. Extensive experiments across diverse visual benchmarks for understanding, reasoning, and generation reveal that VisMem delivers a significant average performance boost of 11.8% relative to the vanilla model and outperforms all counterparts, establishing a new paradigm for latent-space memory enhancement. The code will be available: https://github.com/YU-deep/VisMem.git.