OmniStream: Beheersing van Waarneming, Reconstructie en Actie in Continue Stromen

OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams

March 12, 2026

Auteurs: Yibin Yan, Jilan Xu, Shangzhe Di, Haoning Wu, Weidi Xie

cs.AI

Samenvatting

Moderne visuele agenten vereisen representaties die algemeen, causaal en fysiek gestructureerd zijn om in real-time streamingomgevingen te kunnen functioneren. Huidige vision foundation-modellen blijven echter gefragmenteerd en specialiseren zich nauw in beeld semantische perceptie, offline temporele modellering of ruimtelijke geometrie. Dit artikel introduceert OmniStream, een uniforme streaming visuele backbone die effectief waarneemt, reconstrueert en handelt op basis van diverse visuele invoer. Door causale spatiotemporele aandacht en 3D roterende positionele inbeddingen (3D-RoPE) te incorporeren, ondersteunt ons model efficiënte, frame-voor-frame online verwerking van videostreams via een persistente KV-cache. We pre-trainen OmniStream met een synergetisch multi-task raamwerk dat statisch en temporeel representatieleren, streaming geometrische reconstructie en visie-taalalignering koppelt op 29 datasets. Uitgebreide evaluaties tonen aan dat OmniStream, zelfs met een strikt bevroren backbone, consistent competitieve prestaties bereikt met gespecialiseerde experts op het gebied van image- en videoprobing, streaming geometrische reconstructie, complexe video- en ruimtelijke redenering, evenals robotmanipulatie (niet gezien tijdens training). In plaats van benchmarkspecifieke dominantie na te streven, toont ons werk de haalbaarheid aan van het trainen van een enkele, veelzijdige visuele backbone die generaliseert over semantisch, ruimtelijk en temporeel redeneren – een betekenisvollere stap naar algemeen visueel begrip voor interactieve en belichaamde agenten.

English

Modern visual agents require representations that are general, causal, and physically structured to operate in real-time streaming environments. However, current vision foundation models remain fragmented, specializing narrowly in image semantic perception, offline temporal modeling, or spatial geometry. This paper introduces OmniStream, a unified streaming visual backbone that effectively perceives, reconstructs, and acts from diverse visual inputs. By incorporating causal spatiotemporal attention and 3D rotary positional embeddings (3D-RoPE), our model supports efficient, frame-by-frame online processing of video streams via a persistent KV-cache. We pre-train OmniStream using a synergistic multi-task framework coupling static and temporal representation learning, streaming geometric reconstruction, and vision-language alignment on 29 datasets. Extensive evaluations show that, even with a strictly frozen backbone, OmniStream achieves consistently competitive performance with specialized experts across image and video probing, streaming geometric reconstruction, complex video and spatial reasoning, as well as robotic manipulation (unseen at training). Rather than pursuing benchmark-specific dominance, our work demonstrates the viability of training a single, versatile vision backbone that generalizes across semantic, spatial, and temporal reasoning, i.e., a more meaningful step toward general-purpose visual understanding for interactive and embodied agents.