OmniStream: Dominio de la Percepción, Reconstrucción y Acción en Flujos Continuos

OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams

March 12, 2026

Autores: Yibin Yan, Jilan Xu, Shangzhe Di, Haoning Wu, Weidi Xie

cs.AI

Resumen

Los agentes visuales modernos requieren representaciones generales, causales y estructuradas físicamente para operar en entornos de transmisión en tiempo real. Sin embargo, los modelos de base de visión actuales permanecen fragmentados, especializándose de forma limitada en la percepción semántica de imágenes, el modelado temporal fuera de línea o la geometría espacial. Este artículo presenta OmniStream, un modelo de base visual unificado para transmisión continua que percibe, reconstruye y actúa eficazmente a partir de entradas visuales diversas. Al incorporar atención espacio-temporal causal y codificaciones posicionales rotatorias 3D (3D-RoPE), nuestro modelo soporta el procesamiento eficiente, fotograma a fotograma y en línea de flujos de vídeo mediante una caché KV persistente. Pre-entrenamos OmniStream utilizando un marco de trabajo multitarea sinérgico que combina el aprendizaje de representaciones estáticas y temporales, la reconstrucción geométrica en streaming y la alineación visión-lenguaje en 29 conjuntos de datos. Evaluaciones exhaustivas demuestran que, incluso con un modelo de base estrictamente congelado, OmniStream logra un rendimiento consistentemente competitivo con expertos especializados en tareas de sondeo de imágenes y vídeo, reconstrucción geométrica en streaming, razonamiento complejo sobre vídeo y espacio, así como en manipulación robótica (no vista durante el entrenamiento). En lugar de buscar un dominio específico en benchmarks particulares, nuestro trabajo demuestra la viabilidad de entrenar un único modelo de base visual versátil que generaliza a través del razonamiento semántico, espacial y temporal; es decir, un paso más significativo hacia la comprensión visual de propósito general para agentes interactivos y corporizados.

English

Modern visual agents require representations that are general, causal, and physically structured to operate in real-time streaming environments. However, current vision foundation models remain fragmented, specializing narrowly in image semantic perception, offline temporal modeling, or spatial geometry. This paper introduces OmniStream, a unified streaming visual backbone that effectively perceives, reconstructs, and acts from diverse visual inputs. By incorporating causal spatiotemporal attention and 3D rotary positional embeddings (3D-RoPE), our model supports efficient, frame-by-frame online processing of video streams via a persistent KV-cache. We pre-train OmniStream using a synergistic multi-task framework coupling static and temporal representation learning, streaming geometric reconstruction, and vision-language alignment on 29 datasets. Extensive evaluations show that, even with a strictly frozen backbone, OmniStream achieves consistently competitive performance with specialized experts across image and video probing, streaming geometric reconstruction, complex video and spatial reasoning, as well as robotic manipulation (unseen at training). Rather than pursuing benchmark-specific dominance, our work demonstrates the viability of training a single, versatile vision backbone that generalizes across semantic, spatial, and temporal reasoning, i.e., a more meaningful step toward general-purpose visual understanding for interactive and embodied agents.