CoMemo: Мультимодальные языковые модели с большим контекстом требуют контекста изображений с памятью изображений

CoMemo: LVLMs Need Image Context with Image Memory

June 6, 2025

Авторы: Shi Liu, Weijie Su, Xizhou Zhu, Wenhai Wang, Jifeng Dai

cs.AI

Аннотация

Последние достижения в области крупномасштабных визуально-языковых моделей (LVLM), построенных на основе крупных языковых моделей (LLM), установили выравнивание визуальных признаков с представлениями LLM в качестве доминирующей парадигмы. Однако унаследованные архитектурные решения LLM вводят неоптимальные характеристики для многомодальной обработки. Во-первых, LVLM демонстрируют бимодальное распределение в распределении внимания, что приводит к постепенному игнорированию среднего визуального контента по мере расширения контекста. Во-вторых, традиционные схемы позиционного кодирования не сохраняют важные двумерные структурные отношения при обработке динамических изображений высокого разрешения. Для устранения этих ограничений мы предлагаем CoMemo — двухпутевую архитектуру, которая сочетает контекстный визуальный путь с путем визуальной памяти для обработки изображений, эффективно устраняя пренебрежение визуальной информацией. Кроме того, мы представляем RoPE-DHR — новый механизм позиционного кодирования, который использует позиционную агрегацию на основе миниатюр для сохранения двумерной пространственной осведомленности, одновременно смягчая удаленное затухание в длинных последовательностях. Оценки на семи тестовых наборах, включая понимание длинного контекста, рассуждение на основе нескольких изображений и визуальное ответы на вопросы, демонстрируют превосходную производительность CoMemo по сравнению с традиционными архитектурами LVLM. Страница проекта доступна по адресу https://lalbj.github.io/projects/CoMemo/.

English

Recent advancements in Large Vision-Language Models built upon Large Language Models have established aligning visual features with LLM representations as the dominant paradigm. However, inherited LLM architectural designs introduce suboptimal characteristics for multimodal processing. First, LVLMs exhibit a bimodal distribution in attention allocation, leading to the progressive neglect of middle visual content as context expands. Second, conventional positional encoding schemes fail to preserve vital 2D structural relationships when processing dynamic high-resolution images. To address these limitations, we propose CoMemo - a dual-path architecture that combines a Context image path with an image Memory path for visual processing, effectively alleviating visual information neglect. Additionally, we introduce RoPE-DHR, a novel positional encoding mechanism that employs thumbnail-based positional aggregation to maintain 2D spatial awareness while mitigating remote decay in extended sequences. Evaluations across seven benchmarks,including long-context comprehension, multi-image reasoning, and visual question answering, demonstrate CoMemo's superior performance compared to conventional LVLM architectures. Project page is available at https://lalbj.github.io/projects/CoMemo/.