Szenenverständnis auf Pixelebene in einem Token: Visuelle Zustände benötigen Was-ist-Wo-Komposition
Pixel-level Scene Understanding in One Token: Visual States Need What-is-Where Composition
March 14, 2026
Autoren: Seokmin Lee, Yunghee Lee, Byeonghyun Pak, Byeongju Woo
cs.AI
Zusammenfassung
Für Roboteragenten, die in dynamischen Umgebungen operieren, ist das Erlernen visueller Zustandsrepräsentationen aus Streaming-Videoaufnahmen entscheidend für sequentielle Entscheidungsfindung. Jüngste selbstüberwachte Lernmethoden haben eine starke Übertragbarkeit über verschiedene Vision-Aufgaben hinweg gezeigt, adressieren jedoch nicht explizit, was ein guter visueller Zustand kodieren sollte. Wir argumentieren, dass effektive visuelle Zustände erfassen müssen, *was sich wo befindet*, indem sie gleichzeitig die semantischen Identitäten von Szenelementen und deren räumliche Positionen kodieren, um eine zuverlässige Erkennung subtiler Dynamiken zwischen Beobachtungen zu ermöglichen. Zu diesem Zweck schlagen wir CroBo vor, ein Framework zum Erlernen visueller Zustandsrepräsentationen, das auf einem Global-zu-Lokal-Rekonstruktionsziel basiert. Ausgehend von einer Referenzbeobachtung, die in einen kompakten Bottleneck-Token komprimiert wird, lernt CroBo, stark maskierte Bildbereiche in einem lokalen Zielausschnitt anhand spärlicher sichtbarer Hinweise zu rekonstruieren, wobei der globale Bottleneck-Token als Kontext dient. Dieses Lernziel veranlasst den Bottleneck-Token dazu, eine feinkörnige Repräsentation der semantischen Entitäten in der gesamten Szene zu kodieren, einschließlich ihrer Identitäten, räumlichen Positionen und Konfigurationen. Infolgedessen zeigen die gelernten visuellen Zustände auf, wie sich Szenelemente über die Zeit bewegen und interagieren, was die sequentielle Entscheidungsfindung unterstützt. Wir evaluieren CroBo auf diversen Benchmarks für das Lernen visuell basierter Roboterpolitiken, wo es state-of-the-art Leistung erzielt. Rekonstruktionsanalysen und Experimente zur perzeptiven Geradlinigkeit zeigen weiterhin, dass die gelernten Repräsentationen die pixelgenaue Zusammensetzung der Szene bewahren und kodieren, *was sich wohin* zwischen Beobachtungen bewegt. Projektseite verfügbar unter: https://seokminlee-chris.github.io/CroBo-ProjectPage.
English
For robotic agents operating in dynamic environments, learning visual state representations from streaming video observations is essential for sequential decision making. Recent self-supervised learning methods have shown strong transferability across vision tasks, but they do not explicitly address what a good visual state should encode. We argue that effective visual states must capture what-is-where by jointly encoding the semantic identities of scene elements and their spatial locations, enabling reliable detection of subtle dynamics across observations. To this end, we propose CroBo, a visual state representation learning framework based on a global-to-local reconstruction objective. Given a reference observation compressed into a compact bottleneck token, CroBo learns to reconstruct heavily masked patches in a local target crop from sparse visible cues, using the global bottleneck token as context. This learning objective encourages the bottleneck token to encode a fine-grained representation of scene-wide semantic entities, including their identities, spatial locations, and configurations. As a result, the learned visual states reveal how scene elements move and interact over time, supporting sequential decision making. We evaluate CroBo on diverse vision-based robot policy learning benchmarks, where it achieves state-of-the-art performance. Reconstruction analyses and perceptual straightness experiments further show that the learned representations preserve pixel-level scene composition and encode what-moves-where across observations. Project page available at: https://seokminlee-chris.github.io/CroBo-ProjectPage.