Oryx MLLM: On-Demand Ruimtelijk-Temporeel Begrip op Willekeurige Resolutie

Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

September 19, 2024

Auteurs: Zuyan Liu, Yuhao Dong, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

Samenvatting

Visuele data komt in verschillende vormen, variërend van kleine pictogrammen van slechts een paar pixels tot lange video's die uren duren. Bestaande multimodale LLM's standaardiseren doorgaans deze diverse visuele invoer naar een vaste resolutie voor visuele encoders en leveren vergelijkbare aantallen tokens op voor LLM's. Deze aanpak is niet optimaal voor multimodale begrip en inefficiënt voor de verwerking van invoer met lange en korte visuele inhoud. Om het probleem op te lossen, stellen we Oryx voor, een verenigde multimodale architectuur voor het ruimtelijk-temporeel begrip van afbeeldingen, video's en multi-view 3D-scènes. Oryx biedt een oplossing op maat om visuele invoer met willekeurige ruimtelijke afmetingen en tijdsduur naadloos en efficiënt te verwerken door middel van twee kerninnovaties: 1) een voorgeleerd OryxViT-model dat afbeeldingen op elke resolutie kan coderen tot LLM-vriendelijke visuele representaties; 2) een dynamische compressor module die 1x tot 16x compressie op visuele tokens ondersteunt op verzoek. Deze ontwerpkenmerken stellen Oryx in staat om extreem lange visuele contexten, zoals video's, te accommoderen met lagere resolutie en hoge compressie, terwijl de hoge herkenningsnauwkeurigheid wordt behouden voor taken zoals documentbegrip met native resolutie en zonder compressie. Naast de architecturale verbeteringen helpen verbeterde gegevenscuratie en gespecialiseerde training op lange-context ophalen en ruimtelijk-bewuste gegevens Oryx sterke mogelijkheden te bereiken in gelijktijdig begrip van afbeeldingen, video's en 3D multimodaal begrip. Ons werk is open-source beschikbaar op https://github.com/Oryx-mllm/Oryx.

English

Visual data comes in various forms, ranging from small icons of just a few pixels to long videos spanning hours. Existing multi-modal LLMs usually standardize these diverse visual inputs to a fixed resolution for visual encoders and yield similar numbers of tokens for LLMs. This approach is non-optimal for multimodal understanding and inefficient for processing inputs with long and short visual contents. To solve the problem, we propose Oryx, a unified multimodal architecture for the spatial-temporal understanding of images, videos, and multi-view 3D scenes. Oryx offers an on-demand solution to seamlessly and efficiently process visual inputs with arbitrary spatial sizes and temporal lengths through two core innovations: 1) a pre-trained OryxViT model that can encode images at any resolution into LLM-friendly visual representations; 2) a dynamic compressor module that supports 1x to 16x compression on visual tokens by request. These design features enable Oryx to accommodate extremely long visual contexts, such as videos, with lower resolution and high compression while maintaining high recognition precision for tasks like document understanding with native resolution and no compression. Beyond the architectural improvements, enhanced data curation and specialized training on long-context retrieval and spatial-aware data help Oryx achieve strong capabilities in image, video, and 3D multimodal understanding simultaneously. Our work is open-sourced at https://github.com/Oryx-mllm/Oryx.