Oryx MLLM: Comprensione Spazio-Temporale su Richiesta a Risoluzione Arbitraria

Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

September 19, 2024

Autori: Zuyan Liu, Yuhao Dong, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

Abstract

I dati visivi si presentano in varie forme, che vanno da piccole icone di pochi pixel a lunghi video che durano ore. Gli attuali LLM multimodali di solito standardizzano questi diversi input visivi a una risoluzione fissa per gli encoder visivi e producono un numero simile di token per i LLM. Questo approccio non è ottimale per la comprensione multimodale ed è inefficiente per elaborare input con contenuti visivi lunghi e brevi. Per risolvere il problema, proponiamo Oryx, un'architettura multimodale unificata per la comprensione spazio-temporale di immagini, video e scene 3D multi-vista. Oryx offre una soluzione su richiesta per elaborare in modo fluido ed efficiente input visivi con dimensioni spaziali e lunghezze temporali arbitrarie attraverso due innovazioni principali: 1) un modello OryxViT preaddestrato che può codificare immagini a qualsiasi risoluzione in rappresentazioni visive compatibili con LLM; 2) un modulo compressore dinamico che supporta la compressione da 1x a 16x sui token visivi su richiesta. Queste caratteristiche progettuali consentono a Oryx di gestire contesti visivi estremamente lunghi, come i video, con bassa risoluzione e alta compressione mantenendo nel contempo un'elevata precisione di riconoscimento per compiti come la comprensione dei documenti con risoluzione nativa e nessuna compressione. Oltre ai miglioramenti architetturali, una cura dei dati potenziata e una formazione specializzata sul recupero di contesti lunghi e dati consapevoli dello spazio aiutano Oryx a ottenere forti capacità nella comprensione multimodale di immagini, video e 3D contemporaneamente. Il nostro lavoro è open source su https://github.com/Oryx-mllm/Oryx.

English

Visual data comes in various forms, ranging from small icons of just a few pixels to long videos spanning hours. Existing multi-modal LLMs usually standardize these diverse visual inputs to a fixed resolution for visual encoders and yield similar numbers of tokens for LLMs. This approach is non-optimal for multimodal understanding and inefficient for processing inputs with long and short visual contents. To solve the problem, we propose Oryx, a unified multimodal architecture for the spatial-temporal understanding of images, videos, and multi-view 3D scenes. Oryx offers an on-demand solution to seamlessly and efficiently process visual inputs with arbitrary spatial sizes and temporal lengths through two core innovations: 1) a pre-trained OryxViT model that can encode images at any resolution into LLM-friendly visual representations; 2) a dynamic compressor module that supports 1x to 16x compression on visual tokens by request. These design features enable Oryx to accommodate extremely long visual contexts, such as videos, with lower resolution and high compression while maintaining high recognition precision for tasks like document understanding with native resolution and no compression. Beyond the architectural improvements, enhanced data curation and specialized training on long-context retrieval and spatial-aware data help Oryx achieve strong capabilities in image, video, and 3D multimodal understanding simultaneously. Our work is open-sourced at https://github.com/Oryx-mllm/Oryx.