OmniStream: Padroneggiare Percezione, Ricostruzione e Azione in Flussi Continui

OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams

March 12, 2026

Autori: Yibin Yan, Jilan Xu, Shangzhe Di, Haoning Wu, Weidi Xie

cs.AI

Abstract

Gli agenti visivi moderni richiedono rappresentazioni generali, causali e strutturate fisicamente per operare in ambienti di streaming in tempo reale. Tuttavia, gli attuali modelli di base per la visione rimangono frammentati, specializzandosi in modo ristretto nella percezione semantica delle immagini, nella modellazione temporale offline o nella geometria spaziale. Questo articolo introduce OmniStream, un backbone visivo unificato per lo streaming che percepisce, ricostruisce e agisce efficacemente da input visivi diversificati. Incorporando l'attenzione spaziotemporale causale e gli embeddings posizionali rotazionali 3D (3D-RoPE), il nostro modello supporta un'elaborazione online efficiente, fotogramma per fotogramma, di flussi video tramite un KV-cache persistente. Addestriamo OmniStream in pre-training utilizzando un framework multi-task sinergico che accoppia l'apprendimento di rappresentazioni statiche e temporali, la ricostruzione geometrica in streaming e l'allineamento visione-linguaggio su 29 dataset. Valutazioni estensive dimostrano che, anche con un backbone rigorosamente congelato, OmniStream raggiunge prestazioni costantemente competitive con esperti specializzati in ambiti come il probing su immagini e video, la ricostruzione geometrica in streaming, il ragionamento complesso su video e spazio, nonché la manipolazione robotica (non vista durante l'addestramento). Piuttosto che perseguire una supremazia specifica per benchmark, il nostro lavoro dimostra la fattibilità di addestrare un unico backbone visivo versatile che generalizza attraverso il ragionamento semantico, spaziale e temporale, rappresentando quindi un passo più significativo verso una comprensione visiva di scopi generali per agenti interattivi ed embodied.

English

Modern visual agents require representations that are general, causal, and physically structured to operate in real-time streaming environments. However, current vision foundation models remain fragmented, specializing narrowly in image semantic perception, offline temporal modeling, or spatial geometry. This paper introduces OmniStream, a unified streaming visual backbone that effectively perceives, reconstructs, and acts from diverse visual inputs. By incorporating causal spatiotemporal attention and 3D rotary positional embeddings (3D-RoPE), our model supports efficient, frame-by-frame online processing of video streams via a persistent KV-cache. We pre-train OmniStream using a synergistic multi-task framework coupling static and temporal representation learning, streaming geometric reconstruction, and vision-language alignment on 29 datasets. Extensive evaluations show that, even with a strictly frozen backbone, OmniStream achieves consistently competitive performance with specialized experts across image and video probing, streaming geometric reconstruction, complex video and spatial reasoning, as well as robotic manipulation (unseen at training). Rather than pursuing benchmark-specific dominance, our work demonstrates the viability of training a single, versatile vision backbone that generalizes across semantic, spatial, and temporal reasoning, i.e., a more meaningful step toward general-purpose visual understanding for interactive and embodied agents.