Oryx MLLM: Compreensão Espaço-Temporal Sob Demanda em Qualquer Resolução

Oryx MLLM: On-Demand Spatial-Temporal Understanding at Arbitrary Resolution

September 19, 2024

Autores: Zuyan Liu, Yuhao Dong, Ziwei Liu, Winston Hu, Jiwen Lu, Yongming Rao

cs.AI

Resumo

Os dados visuais apresentam-se em várias formas, desde pequenos ícones de apenas alguns pixels até vídeos longos que se estendem por horas. Os LLMs multimodais existentes geralmente padronizam essas diversas entradas visuais para uma resolução fixa para os codificadores visuais e produzem números semelhantes de tokens para os LLMs. Esta abordagem não é ótima para a compreensão multimodal e é ineficiente para processar entradas com conteúdos visuais longos e curtos. Para resolver o problema, propomos o Oryx, uma arquitetura multimodal unificada para a compreensão espaço-temporal de imagens, vídeos e cenas 3D multi-visão. Oryx oferece uma solução sob demanda para processar de forma contínua e eficiente entradas visuais com tamanhos espaciais e durações temporais arbitrários por meio de duas inovações principais: 1) um modelo OryxViT pré-treinado que pode codificar imagens em qualquer resolução em representações visuais amigáveis para LLMs; 2) um módulo compressor dinâmico que suporta compressão de 1x a 16x em tokens visuais mediante solicitação. Esses recursos de design permitem que o Oryx acomode contextos visuais extremamente longos, como vídeos, com baixa resolução e alta compressão, mantendo alta precisão de reconhecimento para tarefas como compreensão de documentos com resolução nativa e sem compressão. Além das melhorias arquiteturais, aprimoramento da curadoria de dados e treinamento especializado em recuperação de longo contexto e dados espacialmente conscientes ajudam o Oryx a alcançar fortes capacidades em compreensão multimodal de imagem, vídeo e 3D simultaneamente. Nosso trabalho está disponível em código aberto em https://github.com/Oryx-mllm/Oryx.

English

Visual data comes in various forms, ranging from small icons of just a few pixels to long videos spanning hours. Existing multi-modal LLMs usually standardize these diverse visual inputs to a fixed resolution for visual encoders and yield similar numbers of tokens for LLMs. This approach is non-optimal for multimodal understanding and inefficient for processing inputs with long and short visual contents. To solve the problem, we propose Oryx, a unified multimodal architecture for the spatial-temporal understanding of images, videos, and multi-view 3D scenes. Oryx offers an on-demand solution to seamlessly and efficiently process visual inputs with arbitrary spatial sizes and temporal lengths through two core innovations: 1) a pre-trained OryxViT model that can encode images at any resolution into LLM-friendly visual representations; 2) a dynamic compressor module that supports 1x to 16x compression on visual tokens by request. These design features enable Oryx to accommodate extremely long visual contexts, such as videos, with lower resolution and high compression while maintaining high recognition precision for tasks like document understanding with native resolution and no compression. Beyond the architectural improvements, enhanced data curation and specialized training on long-context retrieval and spatial-aware data help Oryx achieve strong capabilities in image, video, and 3D multimodal understanding simultaneously. Our work is open-sourced at https://github.com/Oryx-mllm/Oryx.