VisMem: La memoria visual latente desbloquea el potencial de los modelos de visión y lenguaje
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
November 14, 2025
Autores: Xinlei Yu, Chengming Xu, Guibin Zhang, Zhangquan Chen, Yudong Zhang, Yongbo He, Peng-Tao Jiang, Jiangning Zhang, Xiaobin Hu, Shuicheng Yan
cs.AI
Resumen
A pesar del notable éxito de los Modelos de Visión y Lenguaje (VLMs), su rendimiento en una variedad de tareas visuales complejas a menudo se ve limitado por un "cuello de botella en el procesamiento visual": una propensión a perder la conexión con la evidencia visual y mostrar un déficit en la experiencia visual contextualizada durante la generación prolongada. Inspirándonos en la teoría cognitiva de la memoria humana, que distingue entre la memoria a corto plazo de dominio visual y la memoria a largo plazo de dominio semántico, proponemos VisMem, un marco cognitivamente alineado que dota a los VLMs de memorias visuales latentes dinámicas: un módulo a corto plazo para la retención perceptual detallada y un módulo a largo plazo para la consolidación semántica abstracta. Estas memorias se invocan de manera fluida durante la inferencia, permitiendo a los VLMs mantener tanto la fidelidad perceptual como la coherencia semántica a lo largo del pensamiento y la generación. Experimentos exhaustivos en diversos benchmarks visuales de comprensión, razonamiento y generación revelan que VisMem proporciona una mejora significativa en el rendimiento promedio de un 11.8% respecto al modelo básico y supera a todas las alternativas, estableciendo un nuevo paradigma para la mejora de la memoria en el espacio latente. El código estará disponible en: https://github.com/YU-deep/VisMem.git.
English
Despite the remarkable success of Vision-Language Models (VLMs), their performance on a range of complex visual tasks is often hindered by a "visual processing bottleneck": a propensity to lose grounding in visual evidence and exhibit a deficit in contextualized visual experience during prolonged generation. Drawing inspiration from human cognitive memory theory, which distinguishes short-term visually-dominant memory and long-term semantically-dominant memory, we propose VisMem, a cognitively-aligned framework that equips VLMs with dynamic latent vision memories, a short-term module for fine-grained perceptual retention and a long-term module for abstract semantic consolidation. These memories are seamlessly invoked during inference, allowing VLMs to maintain both perceptual fidelity and semantic consistency across thinking and generation. Extensive experiments across diverse visual benchmarks for understanding, reasoning, and generation reveal that VisMem delivers a significant average performance boost of 11.8% relative to the vanilla model and outperforms all counterparts, establishing a new paradigm for latent-space memory enhancement. The code will be available: https://github.com/YU-deep/VisMem.git.