3D-Szenenverständnis durch lokale Modellierung von zufällig zugänglichen Sequenzen

3D Scene Understanding Through Local Random Access Sequence Modeling

April 4, 2025

Autoren: Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Honglin Chen, Khai Loong Aw, Daniel L. K. Yamins

cs.AI

Zusammenfassung

Das Verständnis von 3D-Szenen aus Einzelbildern ist ein zentrales Problem in der Computer Vision mit zahlreichen Anwendungen in den Bereichen Grafik, Augmented Reality und Robotik. Während diffusionsbasierte Modellierungsansätze vielversprechend sind, haben sie oft Schwierigkeiten, die Konsistenz von Objekten und Szenen zu bewahren, insbesondere in komplexen realen Szenarien. Um diese Einschränkungen zu überwinden, schlagen wir einen autoregressiven generativen Ansatz namens Local Random Access Sequence (LRAS)-Modellierung vor, der lokale Patch-Quantisierung und zufällig geordnete Sequenzgenerierung verwendet. Durch die Nutzung von optischem Fluss als Zwischendarstellung für die 3D-Szenenbearbeitung zeigen unsere Experimente, dass LRAS state-of-the-art Fähigkeiten in der Synthese neuer Ansichten und der Manipulation von 3D-Objekten erreicht. Darüber hinaus demonstrieren wir, dass sich unser Framework durch eine einfache Modifikation des Sequenzdesigns natürlich auf die selbstüberwachte Tiefenschätzung erweitern lässt. Durch die Erzielung starker Leistungen bei mehreren 3D-Szenenverständnisaufgaben bietet LRAS ein einheitliches und effektives Framework für die Entwicklung der nächsten Generation von 3D-Vision-Modellen.

English

3D scene understanding from single images is a pivotal problem in computer vision with numerous downstream applications in graphics, augmented reality, and robotics. While diffusion-based modeling approaches have shown promise, they often struggle to maintain object and scene consistency, especially in complex real-world scenarios. To address these limitations, we propose an autoregressive generative approach called Local Random Access Sequence (LRAS) modeling, which uses local patch quantization and randomly ordered sequence generation. By utilizing optical flow as an intermediate representation for 3D scene editing, our experiments demonstrate that LRAS achieves state-of-the-art novel view synthesis and 3D object manipulation capabilities. Furthermore, we show that our framework naturally extends to self-supervised depth estimation through a simple modification of the sequence design. By achieving strong performance on multiple 3D scene understanding tasks, LRAS provides a unified and effective framework for building the next generation of 3D vision models.