LLaVA-UHD v2: MLLM, интегрирующая пирамиду признаков высокого разрешения через иерархический оконный трансформер.

LLaVA-UHD v2: an MLLM Integrating High-Resolution Feature Pyramid via Hierarchical Window Transformer

December 18, 2024

Авторы: Yipeng Zhang, Yifan Liu, Zonghao Guo, Yidan Zhang, Xuesong Yang, Chi Chen, Jun Song, Bo Zheng, Yuan Yao, Zhiyuan Liu, Tat-Seng Chua, Maosong Sun

cs.AI

Аннотация

В мультимодальных моделях большого размера (MLLMs) для визуального кодирования широко используются трансформеры изображений (ViTs). Однако их производительность в решении универсальных задач MLLM неудовлетворительна. Мы связываем это с недостатком информации с различных визуальных уровней, затрудняющим выравнивание с различной семантической детализацией, необходимой для генерации языка. Для решения этой проблемы мы представляем LLaVA-UHD v2, передовую MLLM, сосредоточенную вокруг Иерархического оконного трансформера, который позволяет захватывать различную визуальную детализацию путем построения и интеграции пирамиды признаков высокого разрешения. В качестве визио-языкового проектора трансформер Hiwin включает два основных модуля: (i) обратную пирамиду признаков, построенную с помощью процесса повышения частоты деталей признаков, полученных от ViT, изображениями из пирамиды, и (ii) иерархическое оконное внимание, сосредоточенное на наборе ключевых признаков выборки в пределах окон между масштабами для сжатия многоуровневых карт признаков. Обширные эксперименты показывают, что LLaVA-UHD v2 достигает превосходной производительности по сравнению с существующими MLLM на популярных бенчмарках. Значительно, наш дизайн приносит в среднем улучшение на 3.7% по 14 бенчмаркам по сравнению с базовым методом, например, на 9.3% в DocVQA. Мы делаем все данные, контрольные точки модели и код общедоступными для облегчения будущих исследований.

English

In multimodal large language models (MLLMs), vision transformers (ViTs) are widely employed for visual encoding. However, their performance in solving universal MLLM tasks is not satisfactory. We attribute it to a lack of information from diverse visual levels, impeding alignment with the various semantic granularity required for language generation. To address this issue, we present LLaVA-UHD v2, an advanced MLLM centered around a Hierarchical window transformer that enables capturing diverse visual granularity by constructing and integrating a high-resolution feature pyramid. As a vision-language projector, Hiwin transformer comprises two primary modules: (i) an inverse feature pyramid, constructed by a ViT-derived feature up-sampling process utilizing high-frequency details from an image pyramid, and (ii) hierarchical window attention, focusing on a set of key sampling features within cross-scale windows to condense multi-level feature maps. Extensive experiments demonstrate that LLaVA-UHD v2 achieves superior performance over existing MLLMs on popular benchmarks. Notably, our design brings an average boost of 3.7% across 14 benchmarks compared with the baseline method, 9.3% on DocVQA for instance. We make all the data, model checkpoint, and code publicly available to facilitate future research.