OmniStream: Dominando Percepção, Reconstrução e Ação em Fluxos Contínuos

OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams

March 12, 2026

Autores: Yibin Yan, Jilan Xu, Shangzhe Di, Haoning Wu, Weidi Xie

cs.AI

Resumo

Os agentes visuais modernos exigem representações que sejam gerais, causais e fisicamente estruturadas para operar em ambientes de streaming em tempo real. No entanto, os atuais modelos de base de visão permanecem fragmentados, especializando-se estreitamente em percepção semântica de imagem, modelagem temporal offline ou geometria espacial. Este artigo apresenta o OmniStream, um *backbone* visual de streaming unificado que percebe, reconstrói e age de forma eficaz a partir de diversas entradas visuais. Ao incorporar atenção espaço-temporal causal e *embeddings* posicionais rotativos 3D (3D-RoPE), nosso modelo suporta o processamento online eficiente, quadro a quadro, de fluxos de vídeo por meio de um cache KV persistente. Pré-treinamos o OmniStream usando uma estrutura multi-tarefa sinérgica que acopla a aprendizagem de representações estáticas e temporais, a reconstrução geométrica de streaming e o alinhamento visão-linguagem em 29 conjuntos de dados. Avaliações extensivas mostram que, mesmo com um *backbone* estritamente congelado, o OmniStream alcança desempenho consistentemente competitivo com especialistas específicos em sondagem de imagem e vídeo, reconstrução geométrica de streaming, raciocínio complexo em vídeo e espacial, bem como em manipulação robótica (não vista durante o treinamento). Em vez de buscar a dominância específica em *benchmarks*, nosso trabalho demonstra a viabilidade de treinar um único *backbone* visual versátil que generaliza através do raciocínio semântico, espacial e temporal, ou seja, um passo mais significativo em direção à compreensão visual de propósito geral para agentes interativos e corporificados.

English

Modern visual agents require representations that are general, causal, and physically structured to operate in real-time streaming environments. However, current vision foundation models remain fragmented, specializing narrowly in image semantic perception, offline temporal modeling, or spatial geometry. This paper introduces OmniStream, a unified streaming visual backbone that effectively perceives, reconstructs, and acts from diverse visual inputs. By incorporating causal spatiotemporal attention and 3D rotary positional embeddings (3D-RoPE), our model supports efficient, frame-by-frame online processing of video streams via a persistent KV-cache. We pre-train OmniStream using a synergistic multi-task framework coupling static and temporal representation learning, streaming geometric reconstruction, and vision-language alignment on 29 datasets. Extensive evaluations show that, even with a strictly frozen backbone, OmniStream achieves consistently competitive performance with specialized experts across image and video probing, streaming geometric reconstruction, complex video and spatial reasoning, as well as robotic manipulation (unseen at training). Rather than pursuing benchmark-specific dominance, our work demonstrates the viability of training a single, versatile vision backbone that generalizes across semantic, spatial, and temporal reasoning, i.e., a more meaningful step toward general-purpose visual understanding for interactive and embodied agents.