VisMem: 잠재적 비전 메모리가 여는 비전-언어 모델의 가능성

초록

비전-언어 모델(VLMs)의 놀라운 성과에도 불구하고, 다양한 복잡한 시각 과제에서의 성능은 종종 "시각 처리 병목 현상"으로 인해 제한받습니다. 이는 장기 생성 과정에서 시각적 근거에 대한 기반을 상실하고 맥락화된 시각 경험의 결핍을 보이는 경향을 의미합니다. 인간의 인지 기억 이론, 즉 단기 시각 중심 기억과 장기 의미 중심 기억을 구분하는 이론에서 영감을 얻어, 우리는 VLM에 동적 잠재 시각 메모리(단기 미세 지각 유지 모듈과 장기 추상 의미 통합 모듈)를 부여하는 인지 정렬 프레임워크인 VisMem을 제안합니다. 이러한 메모리는 추론 과정에서 원활하게 호출되어 VLM이 사고와 생성 전반에 걸쳐 지각적 정확성과 의미적 일관성을 유지할 수 있도록 합니다. 이해, 추론, 생성을 위한 다양한 시각 벤치마크에서 진행된 폭넓은 실험을 통해 VisMem이 기본 모델 대비 평균 11.8%의显著的 성능 향상을 제공하며 모든 비교 대조군을 능가함으로써, 잠재 공간 메모리 강화에 대한 새로운 패러다임을 정립함을 확인했습니다. 코드는 https://github.com/YU-deep/VisMem.git에서 공개될 예정입니다.

English

Despite the remarkable success of Vision-Language Models (VLMs), their performance on a range of complex visual tasks is often hindered by a "visual processing bottleneck": a propensity to lose grounding in visual evidence and exhibit a deficit in contextualized visual experience during prolonged generation. Drawing inspiration from human cognitive memory theory, which distinguishes short-term visually-dominant memory and long-term semantically-dominant memory, we propose VisMem, a cognitively-aligned framework that equips VLMs with dynamic latent vision memories, a short-term module for fine-grained perceptual retention and a long-term module for abstract semantic consolidation. These memories are seamlessly invoked during inference, allowing VLMs to maintain both perceptual fidelity and semantic consistency across thinking and generation. Extensive experiments across diverse visual benchmarks for understanding, reasoning, and generation reveal that VisMem delivers a significant average performance boost of 11.8% relative to the vanilla model and outperforms all counterparts, establishing a new paradigm for latent-space memory enhancement. The code will be available: https://github.com/YU-deep/VisMem.git.

VisMem: 잠재적 비전 메모리가 여는 비전-언어 모델의 가능성

VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models

초록

Support