Понимание сцены на уровне пикселей в одном токене: визуальным состояниям необходима композиция «что-где»

Pixel-level Scene Understanding in One Token: Visual States Need What-is-Where Composition

March 14, 2026

Авторы: Seokmin Lee, Yunghee Lee, Byeonghyun Pak, Byeongju Woo

cs.AI

Аннотация

Для роботизированных агентов, функционирующих в динамических средах, обучение визуальным представлениям состояний на основе потоковых видео-наблюдений является ключевым для принятия последовательных решений. Современные методы самообучения продемонстрировали высокую переносимость между различными визуальными задачами, однако они не дают явного ответа на вопрос, что именно должно кодировать хорошее визуальное состояние. Мы утверждаем, что эффективные визуальные состояния должны фиксировать «что-и-где», совместно кодируя семантические идентификаторы элементов сцены и их пространственное расположение, что позволяет надежно обнаруживать малозаметные динамические изменения между наблюдениями. С этой целью мы предлагаем CroBo — фреймворк для обучения представлений визуального состояния, основанный на задаче реконструкции от глобального к локальному. При условии, что референсное наблюдение сжато в компактный токен-«бутылочное горлышко», CroBo учится восстанавливать сильно замаскированные участки в локальном целевом фрагменте сцены по разреженным видимым ключам, используя глобальный токен-«бутылочное горлышко» в качестве контекста. Данная задача обучения побуждает токен-«бутылочное горлышко» кодировать детализированное представление о семантических сущностях всей сцены, включая их идентификаторы, пространственные координаты и конфигурации. В результате обученные визуальные состояния раскрывают, как элементы сцены перемещаются и взаимодействуют во времени, что поддерживает принятие последовательных решений. Мы оцениваем CroBo на различных бенчмарках для обучения политик роботов на основе зрения, где он достигает наилучших на сегодняшний день результатов. Анализ реконструкции и эксперименты с перцептивной прямолинейностью дополнительно показывают, что обученные представления сохраняют композицию сцены на уровне пикселей и кодируют информацию о том, «что-двигается-куда» между наблюдениями. Страница проекта доступна по адресу: https://seokminlee-chris.github.io/CroBo-ProjectPage.

English

For robotic agents operating in dynamic environments, learning visual state representations from streaming video observations is essential for sequential decision making. Recent self-supervised learning methods have shown strong transferability across vision tasks, but they do not explicitly address what a good visual state should encode. We argue that effective visual states must capture what-is-where by jointly encoding the semantic identities of scene elements and their spatial locations, enabling reliable detection of subtle dynamics across observations. To this end, we propose CroBo, a visual state representation learning framework based on a global-to-local reconstruction objective. Given a reference observation compressed into a compact bottleneck token, CroBo learns to reconstruct heavily masked patches in a local target crop from sparse visible cues, using the global bottleneck token as context. This learning objective encourages the bottleneck token to encode a fine-grained representation of scene-wide semantic entities, including their identities, spatial locations, and configurations. As a result, the learned visual states reveal how scene elements move and interact over time, supporting sequential decision making. We evaluate CroBo on diverse vision-based robot policy learning benchmarks, where it achieves state-of-the-art performance. Reconstruction analyses and perceptual straightness experiments further show that the learned representations preserve pixel-level scene composition and encode what-moves-where across observations. Project page available at: https://seokminlee-chris.github.io/CroBo-ProjectPage.