OmniStream: Освоение восприятия, реконструкции и действий в непрерывных потоках
OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams
March 12, 2026
Авторы: Yibin Yan, Jilan Xu, Shangzhe Di, Haoning Wu, Weidi Xie
cs.AI
Аннотация
Современные визуальные агенты требуют репрезентаций, обладающих общностью, причинностью и физической структурой для работы в реальном времени в потоковых средах. Однако современные фоновые модели компьютерного зрения остаются разрозненными, узко специализируясь на семантическом восприятии изображений, офлайн-моделировании временных зависимостей или пространственной геометрии. В данной статье представлена OmniStream — унифицированная потоковая визуальная основа, которая эффективно воспринимает, реконструирует и действует на основе разнородных визуальных входных данных. Благодаря включению причинно-следственного пространственно-временного внимания и 3D ротационных позиционных эмбеддингов (3D-RoPE), наша модель поддерживает эффективную пошаговую онлайн-обработку видеопотоков с использованием постоянного KV-кэша. Мы проводим предварительное обучение OmniStream с помощью синергетической мультизадачной структуры, сочетающей статическое и временное обучение репрезентаций, потоковую геометрическую реконструкцию и согласование «визуальный язык» на 29 наборах данных. Обширные оценки показывают, что даже при строго замороженной основе OmniStream демонстрирует стабильно конкурентоспособные результаты со специализированными экспертами в задачах probing изображений и видео, потоковой геометрической реконструкции, сложного видео- и пространственного мышления, а также роботизированного манипулирования (не встречавшегося при обучении). Вместо стремления к доминированию в конкретных бенчмарках наша работа демонстрирует возможность обучения единой универсальной визуальной основы, которая обобщается на семантические, пространственные и временные рассуждения, то есть представляет собой более значимый шаг к системе общего назначения для визуального понимания интерактивными и воплощенными агентами.
English
Modern visual agents require representations that are general, causal, and physically structured to operate in real-time streaming environments. However, current vision foundation models remain fragmented, specializing narrowly in image semantic perception, offline temporal modeling, or spatial geometry. This paper introduces OmniStream, a unified streaming visual backbone that effectively perceives, reconstructs, and acts from diverse visual inputs. By incorporating causal spatiotemporal attention and 3D rotary positional embeddings (3D-RoPE), our model supports efficient, frame-by-frame online processing of video streams via a persistent KV-cache. We pre-train OmniStream using a synergistic multi-task framework coupling static and temporal representation learning, streaming geometric reconstruction, and vision-language alignment on 29 datasets. Extensive evaluations show that, even with a strictly frozen backbone, OmniStream achieves consistently competitive performance with specialized experts across image and video probing, streaming geometric reconstruction, complex video and spatial reasoning, as well as robotic manipulation (unseen at training). Rather than pursuing benchmark-specific dominance, our work demonstrates the viability of training a single, versatile vision backbone that generalizes across semantic, spatial, and temporal reasoning, i.e., a more meaningful step toward general-purpose visual understanding for interactive and embodied agents.