VisMem: Латентная визуальная память раскрывает потенциал моделей «визуальный язык»
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
November 14, 2025
Авторы: Xinlei Yu, Chengming Xu, Guibin Zhang, Zhangquan Chen, Yudong Zhang, Yongbo He, Peng-Tao Jiang, Jiangning Zhang, Xiaobin Hu, Shuicheng Yan
cs.AI
Аннотация
Несмотря на впечатляющие успехи визуально-языковых моделей (VLM), их производительность при решении сложных визуальных задач часто ограничивается «визуальным узким местом»: склонностью терять связь с визуальными данными и дефицитом контекстуализированного визуального опыта в процессе пролонгированной генерации. Опираясь на теорию когнитивной памяти человека, которая различает кратковременную (доминирующую визуальные аспекты) и долговременную (доминирующую семантические аспекты) память, мы предлагаем VisMem — когнитивно-ориентированную архитектуру, оснащающую VLM динамическими латентными визуальными воспоминаниями: кратковременным модулем для сохранения детализированного восприятия и долговременным модулем для консолидации абстрактной семантики. Эти воспоминания активируются на этапе вывода, позволяя моделям сохранять как перцептивную точность, так и семантическую согласованность в процессе мышления и генерации. Масштабные эксперименты на разнообразных визуальных тестах для задач понимания, рассуждения и генерации демонстрируют, что VisMem обеспечивает значительный прирост производительности в среднем на 11,8% относительно базовой модели и превосходит все аналоги, устанавливая новую парадигму улучшения памяти в латентном пространстве. Код будет доступен по адресу: https://github.com/YU-deep/VisMem.git.
English
Despite the remarkable success of Vision-Language Models (VLMs), their performance on a range of complex visual tasks is often hindered by a "visual processing bottleneck": a propensity to lose grounding in visual evidence and exhibit a deficit in contextualized visual experience during prolonged generation. Drawing inspiration from human cognitive memory theory, which distinguishes short-term visually-dominant memory and long-term semantically-dominant memory, we propose VisMem, a cognitively-aligned framework that equips VLMs with dynamic latent vision memories, a short-term module for fine-grained perceptual retention and a long-term module for abstract semantic consolidation. These memories are seamlessly invoked during inference, allowing VLMs to maintain both perceptual fidelity and semantic consistency across thinking and generation. Extensive experiments across diverse visual benchmarks for understanding, reasoning, and generation reveal that VisMem delivers a significant average performance boost of 11.8% relative to the vanilla model and outperforms all counterparts, establishing a new paradigm for latent-space memory enhancement. The code will be available: https://github.com/YU-deep/VisMem.git.