Oryx MLLM : Compréhension Spatio-Temporelle à la Demande à Résolution Arbitraire

Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

September 19, 2024

Auteurs: Zuyan Liu, Yuhao Dong, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

Résumé

Les données visuelles se présentent sous différentes formes, allant des petites icônes de quelques pixels à de longues vidéos s'étendant sur des heures. Les LLMs multimodaux existants ont généralement pour pratique de standardiser ces diverses entrées visuelles à une résolution fixe pour les encodeurs visuels et de produire des nombres de jetons similaires pour les LLMs. Cette approche n'est pas optimale pour la compréhension multimodale et inefficace pour le traitement des entrées avec des contenus visuels longs et courts. Pour résoudre ce problème, nous proposons Oryx, une architecture multimodale unifiée pour la compréhension spatiale-temporelle des images, des vidéos et des scènes 3D multi-vues. Oryx offre une solution à la demande pour traiter de manière transparente et efficace des entrées visuelles de tailles spatiales et de durées temporelles arbitraires à travers deux innovations majeures : 1) un modèle OryxViT pré-entraîné capable d'encoder des images à n'importe quelle résolution en représentations visuelles compatibles avec les LLMs ; 2) un module compresseur dynamique qui prend en charge une compression de 1x à 16x sur les jetons visuels sur demande. Ces caractéristiques de conception permettent à Oryx de prendre en charge des contextes visuels extrêmement longs, tels que des vidéos, avec une résolution plus faible et une compression élevée tout en maintenant une précision de reconnaissance élevée pour des tâches telles que la compréhension de documents avec une résolution native et sans compression. Au-delà des améliorations architecturales, une meilleure curation des données et une formation spécialisée sur la récupération de longs contextes et les données spatialement conscientes aident Oryx à acquérir de solides capacités en compréhension multimodale d'images, de vidéos et de scènes 3D simultanément. Notre travail est open source sur https://github.com/Oryx-mllm/Oryx.

English

Visual data comes in various forms, ranging from small icons of just a few pixels to long videos spanning hours. Existing multi-modal LLMs usually standardize these diverse visual inputs to a fixed resolution for visual encoders and yield similar numbers of tokens for LLMs. This approach is non-optimal for multimodal understanding and inefficient for processing inputs with long and short visual contents. To solve the problem, we propose Oryx, a unified multimodal architecture for the spatial-temporal understanding of images, videos, and multi-view 3D scenes. Oryx offers an on-demand solution to seamlessly and efficiently process visual inputs with arbitrary spatial sizes and temporal lengths through two core innovations: 1) a pre-trained OryxViT model that can encode images at any resolution into LLM-friendly visual representations; 2) a dynamic compressor module that supports 1x to 16x compression on visual tokens by request. These design features enable Oryx to accommodate extremely long visual contexts, such as videos, with lower resolution and high compression while maintaining high recognition precision for tasks like document understanding with native resolution and no compression. Beyond the architectural improvements, enhanced data curation and specialized training on long-context retrieval and spatial-aware data help Oryx achieve strong capabilities in image, video, and 3D multimodal understanding simultaneously. Our work is open-sourced at https://github.com/Oryx-mllm/Oryx.