Oryx MLLM: Понимание пространственно-временных данных по требованию при произвольном разрешении

Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

September 19, 2024

Авторы: Zuyan Liu, Yuhao Dong, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

Аннотация

Визуальные данные поступают в различных формах, начиная от небольших иконок всего нескольких пикселей до длинных видеороликов, охватывающих часы. Существующие мультимодальные LLM-модели обычно стандартизируют эти разнообразные визуальные входы до фиксированного разрешения для визуальных кодировщиков и выдают схожее количество токенов для LLM. Этот подход неоптимален для мультимодального понимания и неэффективен для обработки входов с длинным и коротким визуальным содержанием. Для решения проблемы мы предлагаем Oryx, унифицированную мультимодальную архитектуру для пространственно-временного понимания изображений, видеороликов и многозрительных 3D сцен. Oryx предлагает решение по запросу для плавной и эффективной обработки визуальных входов с произвольными пространственными размерами и временными длинами благодаря двум основным инновациям: 1) предварительно обученная модель OryxViT, способная кодировать изображения любого разрешения в LLM-совместимые визуальные представления; 2) динамический модуль сжатия, поддерживающий сжатие визуальных токенов от 1x до 16x по запросу. Эти конструктивные особенности позволяют Oryx обрабатывать крайне длинные визуальные контексты, такие как видеоролики, с низким разрешением и высоким сжатием, сохраняя при этом высокую точность распознавания для задач, таких как понимание документов с исходным разрешением и без сжатия. Помимо архитектурных улучшений, улучшенная кураторская работа с данными и специализированное обучение по извлечению длинных контекстов и пространственно-осведомленных данных помогают Oryx одновременно достичь сильных возможностей в понимании изображений, видеороликов и 3D-мультимодальности. Наша работа доступна в открытом доступе на https://github.com/Oryx-mllm/Oryx.

English

Visual data comes in various forms, ranging from small icons of just a few pixels to long videos spanning hours. Existing multi-modal LLMs usually standardize these diverse visual inputs to a fixed resolution for visual encoders and yield similar numbers of tokens for LLMs. This approach is non-optimal for multimodal understanding and inefficient for processing inputs with long and short visual contents. To solve the problem, we propose Oryx, a unified multimodal architecture for the spatial-temporal understanding of images, videos, and multi-view 3D scenes. Oryx offers an on-demand solution to seamlessly and efficiently process visual inputs with arbitrary spatial sizes and temporal lengths through two core innovations: 1) a pre-trained OryxViT model that can encode images at any resolution into LLM-friendly visual representations; 2) a dynamic compressor module that supports 1x to 16x compression on visual tokens by request. These design features enable Oryx to accommodate extremely long visual contexts, such as videos, with lower resolution and high compression while maintaining high recognition precision for tasks like document understanding with native resolution and no compression. Beyond the architectural improvements, enhanced data curation and specialized training on long-context retrieval and spatial-aware data help Oryx achieve strong capabilities in image, video, and 3D multimodal understanding simultaneously. Our work is open-sourced at https://github.com/Oryx-mllm/Oryx.