CoMemo: I LVLM necessitano di contesto visivo con memoria delle immagini

CoMemo: LVLMs Need Image Context with Image Memory

June 6, 2025

Autori: Shi Liu, Weijie Su, Xizhou Zhu, Wenhai Wang, Jifeng Dai

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici di Grande Scala con Integrazione Visiva, costruiti sui Modelli Linguistici di Grande Scala, hanno stabilito l'allineamento delle caratteristiche visive con le rappresentazioni dei LLM come paradigma dominante. Tuttavia, i progetti architetturali ereditati dai LLM introducono caratteristiche subottimali per l'elaborazione multimodale. In primo luogo, i LVLM mostrano una distribuzione bimodale nell'allocazione dell'attenzione, portando alla progressiva trascuratezza del contenuto visivo intermedio man mano che il contesto si espande. In secondo luogo, i convenzionali schemi di codifica posizionale non riescono a preservare le vitali relazioni strutturali 2D durante l'elaborazione di immagini ad alta risoluzione dinamica. Per affrontare queste limitazioni, proponiamo CoMemo - un'architettura a doppio percorso che combina un percorso di immagine contestuale con un percorso di memoria visiva per l'elaborazione visiva, allevando efficacemente la trascuratezza delle informazioni visive. Inoltre, introduciamo RoPE-DHR, un nuovo meccanismo di codifica posizionale che utilizza l'aggregazione posizionale basata su miniature per mantenere la consapevolezza spaziale 2D mitigando il decadimento remoto in sequenze estese. Le valutazioni su sette benchmark, inclusi la comprensione a lungo contesto, il ragionamento su più immagini e la risposta a domande visive, dimostrano la prestazione superiore di CoMemo rispetto alle architetture LVLM convenzionali. La pagina del progetto è disponibile all'indirizzo https://lalbj.github.io/projects/CoMemo/.

English

Recent advancements in Large Vision-Language Models built upon Large Language Models have established aligning visual features with LLM representations as the dominant paradigm. However, inherited LLM architectural designs introduce suboptimal characteristics for multimodal processing. First, LVLMs exhibit a bimodal distribution in attention allocation, leading to the progressive neglect of middle visual content as context expands. Second, conventional positional encoding schemes fail to preserve vital 2D structural relationships when processing dynamic high-resolution images. To address these limitations, we propose CoMemo - a dual-path architecture that combines a Context image path with an image Memory path for visual processing, effectively alleviating visual information neglect. Additionally, we introduce RoPE-DHR, a novel positional encoding mechanism that employs thumbnail-based positional aggregation to maintain 2D spatial awareness while mitigating remote decay in extended sequences. Evaluations across seven benchmarks,including long-context comprehension, multi-image reasoning, and visual question answering, demonstrate CoMemo's superior performance compared to conventional LVLM architectures. Project page is available at https://lalbj.github.io/projects/CoMemo/.