CoMemo: Los LVLM necesitan contexto de imagen con memoria visual

CoMemo: LVLMs Need Image Context with Image Memory

June 6, 2025

Autores: Shi Liu, Weijie Su, Xizhou Zhu, Wenhai Wang, Jifeng Dai

cs.AI

Resumen

Los recientes avances en los Modelos de Visión y Lenguaje a Gran Escala (LVLM, por sus siglas en inglés), construidos sobre Modelos de Lenguaje a Gran Escala (LLM), han establecido la alineación de características visuales con representaciones de LLM como el paradigma dominante. Sin embargo, los diseños arquitectónicos heredados de los LLM introducen características subóptimas para el procesamiento multimodal. En primer lugar, los LVLM exhiben una distribución bimodal en la asignación de atención, lo que lleva al descuido progresivo del contenido visual intermedio a medida que el contexto se expande. En segundo lugar, los esquemas convencionales de codificación posicional no logran preservar las relaciones estructurales 2D vitales al procesar imágenes dinámicas de alta resolución. Para abordar estas limitaciones, proponemos CoMemo: una arquitectura de doble vía que combina una vía de imagen de Contexto con una vía de Memoria de imagen para el procesamiento visual, aliviando efectivamente el descuido de la información visual. Además, introducimos RoPE-DHR, un novedoso mecanismo de codificación posicional que emplea agregación posicional basada en miniaturas para mantener la conciencia espacial 2D mientras mitiga la degradación remota en secuencias extendidas. Las evaluaciones en siete puntos de referencia, que incluyen comprensión de contexto largo, razonamiento con múltiples imágenes y respuesta a preguntas visuales, demuestran el rendimiento superior de CoMemo en comparación con las arquitecturas LVLM convencionales. La página del proyecto está disponible en https://lalbj.github.io/projects/CoMemo/.

English

Recent advancements in Large Vision-Language Models built upon Large Language Models have established aligning visual features with LLM representations as the dominant paradigm. However, inherited LLM architectural designs introduce suboptimal characteristics for multimodal processing. First, LVLMs exhibit a bimodal distribution in attention allocation, leading to the progressive neglect of middle visual content as context expands. Second, conventional positional encoding schemes fail to preserve vital 2D structural relationships when processing dynamic high-resolution images. To address these limitations, we propose CoMemo - a dual-path architecture that combines a Context image path with an image Memory path for visual processing, effectively alleviating visual information neglect. Additionally, we introduce RoPE-DHR, a novel positional encoding mechanism that employs thumbnail-based positional aggregation to maintain 2D spatial awareness while mitigating remote decay in extended sequences. Evaluations across seven benchmarks,including long-context comprehension, multi-image reasoning, and visual question answering, demonstrate CoMemo's superior performance compared to conventional LVLM architectures. Project page is available at https://lalbj.github.io/projects/CoMemo/.