CoMemo: LVLM's hebben beeldcontext nodig met beeldgeheugen

CoMemo: LVLMs Need Image Context with Image Memory

June 6, 2025

Auteurs: Shi Liu, Weijie Su, Xizhou Zhu, Wenhai Wang, Jifeng Dai

cs.AI

Samenvatting

Recente vooruitgang in Grote Visueel-Taalmodellen gebaseerd op Grote Taalmodellen heeft het afstemmen van visuele kenmerken op LLM-representaties gevestigd als het dominante paradigma. Echter, overgenomen LLM-architectuurontwerpen introduceren suboptimale kenmerken voor multimodale verwerking. Ten eerste vertonen LVLM's een bimodale verdeling in aandachtstoewijzing, wat leidt tot het progressief verwaarlozen van middelste visuele inhoud naarmate de context uitbreidt. Ten tweede slagen conventionele positionele coderingsschema's er niet in om vitale 2D-structurele relaties te behouden bij het verwerken van dynamische afbeeldingen met hoge resolutie. Om deze beperkingen aan te pakken, stellen we CoMemo voor - een dual-path architectuur die een Contextbeeldpad combineert met een beeldgeheugenpad voor visuele verwerking, waardoor het verwaarlozen van visuele informatie effectief wordt verlicht. Daarnaast introduceren we RoPE-DHR, een nieuw positioneel coderingsmechanisme dat gebruikmaakt van thumbnail-gebaseerde positionele aggregatie om 2D-ruimtelijk bewustzijn te behouden terwijl het verval op afstand in uitgebreide sequenties wordt verminderd. Evaluaties over zeven benchmarks, waaronder lang-context begrip, multi-beeld redeneren en visuele vraagbeantwoording, tonen de superieure prestaties van CoMemo aan in vergelijking met conventionele LVLM-architecturen. De projectpagina is beschikbaar op https://lalbj.github.io/projects/CoMemo/.

English

Recent advancements in Large Vision-Language Models built upon Large Language Models have established aligning visual features with LLM representations as the dominant paradigm. However, inherited LLM architectural designs introduce suboptimal characteristics for multimodal processing. First, LVLMs exhibit a bimodal distribution in attention allocation, leading to the progressive neglect of middle visual content as context expands. Second, conventional positional encoding schemes fail to preserve vital 2D structural relationships when processing dynamic high-resolution images. To address these limitations, we propose CoMemo - a dual-path architecture that combines a Context image path with an image Memory path for visual processing, effectively alleviating visual information neglect. Additionally, we introduce RoPE-DHR, a novel positional encoding mechanism that employs thumbnail-based positional aggregation to maintain 2D spatial awareness while mitigating remote decay in extended sequences. Evaluations across seven benchmarks,including long-context comprehension, multi-image reasoning, and visual question answering, demonstrate CoMemo's superior performance compared to conventional LVLM architectures. Project page is available at https://lalbj.github.io/projects/CoMemo/.