OmniStream: Beherrschung von Wahrnehmung, Rekonstruktion und Handeln in kontinuierlichen Datenströmen
OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams
March 12, 2026
Autoren: Yibin Yan, Jilan Xu, Shangzhe Di, Haoning Wu, Weidi Xie
cs.AI
Zusammenfassung
Moderne visuelle Agenten benötigen Repräsentationen, die allgemeingültig, kausal und physikalisch strukturiert sind, um in Echtzeit-Streaming-Umgebungen zu operieren. Allerdings sind aktuelle Vision-Foundation-Models nach wie vor fragmentiert und spezialisieren sich eng auf semantische Bildwahrnehmung, offline temporale Modellierung oder räumliche Geometrie. Dieses Paper stellt OmniStream vor, einen vereinheitlichten Streaming-Visual-Backbone, der effektiv diverse visuelle Eingaben wahrnimmt, rekonstruiert und danach handelt. Durch die Integration von kausaler raumzeitlicher Aufmerksamkeit und 3D-Rotations-Positions-Embeddings (3D-RoPE) unterstützt unser Modell eine effiziente, frame-by-frame Online-Verarbeitung von Videostreams über einen persistenten KV-Cache. Wir pre-trainieren OmniStream mit einem synergetischen Multi-Task-Framework, das statisches und temporales Repräsentationslernen, Streaming-Geometrierekonstruktion und Vision-Language-Alignment auf 29 Datensätzen koppelt. Umfassende Evaluationen zeigen, dass OmniStream selbst mit einem strikt eingefrorenen Backbone durchweg wettbewerbsfähige Leistung mit spezialisierten Expertensystemen in den Bereichen Bild- und Video-Probing, Streaming-Geometrierekonstruktion, komplexe Video- und räumliche Reasoning sowie robotische Manipulation (während des Trainings ungesehen) erreicht. Statt benchmarkspezifischer Dominanz zielt unsere Arbeit darauf ab, die Machbarkeit des Trainings eines einzigen, vielseitigen Vision-Backbones zu demonstrieren, der sich über semantisches, räumliches und temporales Reasoning verallgemeinert – ein bedeutungsvollerer Schritt hin zu einem allgemeinen visuellen Verständnis für interaktive und verkörperte Agenten.
English
Modern visual agents require representations that are general, causal, and physically structured to operate in real-time streaming environments. However, current vision foundation models remain fragmented, specializing narrowly in image semantic perception, offline temporal modeling, or spatial geometry. This paper introduces OmniStream, a unified streaming visual backbone that effectively perceives, reconstructs, and acts from diverse visual inputs. By incorporating causal spatiotemporal attention and 3D rotary positional embeddings (3D-RoPE), our model supports efficient, frame-by-frame online processing of video streams via a persistent KV-cache. We pre-train OmniStream using a synergistic multi-task framework coupling static and temporal representation learning, streaming geometric reconstruction, and vision-language alignment on 29 datasets. Extensive evaluations show that, even with a strictly frozen backbone, OmniStream achieves consistently competitive performance with specialized experts across image and video probing, streaming geometric reconstruction, complex video and spatial reasoning, as well as robotic manipulation (unseen at training). Rather than pursuing benchmark-specific dominance, our work demonstrates the viability of training a single, versatile vision backbone that generalizes across semantic, spatial, and temporal reasoning, i.e., a more meaningful step toward general-purpose visual understanding for interactive and embodied agents.