Oryx MLLM: Räumlich-zeitliches Verständnis auf Abruf bei beliebiger Auflösung

Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

September 19, 2024

Autoren: Zuyan Liu, Yuhao Dong, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

Zusammenfassung

Visuelle Daten kommen in verschiedenen Formen vor, von kleinen Symbolen mit nur wenigen Pixeln bis hin zu langen Videos, die Stunden dauern. Bestehende multimodale LLMs standardisieren in der Regel diese vielfältigen visuellen Eingaben auf eine feste Auflösung für visuelle Encoder und erzeugen ähnliche Token-Zahlen für LLMs. Dieser Ansatz ist nicht optimal für multimodales Verständnis und ineffizient für die Verarbeitung von Eingaben mit langen und kurzen visuellen Inhalten. Um das Problem zu lösen, schlagen wir Oryx vor, eine vereinheitlichte multimodale Architektur für das räumlich-zeitliche Verständnis von Bildern, Videos und mehreren Ansichten von 3D-Szenen. Oryx bietet eine Lösung auf Abruf, um visuelle Eingaben mit beliebigen räumlichen Größen und zeitlichen Längen nahtlos und effizient zu verarbeiten, durch zwei Kerninnovationen: 1) ein vorab trainiertes OryxViT-Modell, das Bilder in beliebiger Auflösung in LLM-freundliche visuelle Darstellungen kodieren kann; 2) ein dynamisches Komprimierungsmodul, das auf Anfrage eine Kompression von 1x bis 16x auf visuelle Tokens unterstützt. Diese Designmerkmale ermöglichen es Oryx, extrem lange visuelle Kontexte wie Videos mit geringerer Auflösung und hoher Kompression zu verarbeiten, während gleichzeitig eine hohe Erkennungsgenauigkeit für Aufgaben wie das Verständnis von Dokumenten mit nativer Auflösung und ohne Kompression beibehalten wird. Über die architektonischen Verbesserungen hinaus tragen verbesserte Datenkuratierung und spezialisiertes Training zur Langkontext-Wiederherstellung und räumlich bewussten Daten dazu bei, dass Oryx gleichzeitig starke Fähigkeiten im Verständnis von Bildern, Videos und 3D-Multimodalität erreicht. Unsere Arbeit ist unter https://github.com/Oryx-mllm/Oryx als Open Source verfügbar.

English

Visual data comes in various forms, ranging from small icons of just a few pixels to long videos spanning hours. Existing multi-modal LLMs usually standardize these diverse visual inputs to a fixed resolution for visual encoders and yield similar numbers of tokens for LLMs. This approach is non-optimal for multimodal understanding and inefficient for processing inputs with long and short visual contents. To solve the problem, we propose Oryx, a unified multimodal architecture for the spatial-temporal understanding of images, videos, and multi-view 3D scenes. Oryx offers an on-demand solution to seamlessly and efficiently process visual inputs with arbitrary spatial sizes and temporal lengths through two core innovations: 1) a pre-trained OryxViT model that can encode images at any resolution into LLM-friendly visual representations; 2) a dynamic compressor module that supports 1x to 16x compression on visual tokens by request. These design features enable Oryx to accommodate extremely long visual contexts, such as videos, with lower resolution and high compression while maintaining high recognition precision for tasks like document understanding with native resolution and no compression. Beyond the architectural improvements, enhanced data curation and specialized training on long-context retrieval and spatial-aware data help Oryx achieve strong capabilities in image, video, and 3D multimodal understanding simultaneously. Our work is open-sourced at https://github.com/Oryx-mllm/Oryx.