3D-scenebegrip door lokale willekeurige toegangssequentiemodellering

3D Scene Understanding Through Local Random Access Sequence Modeling

April 4, 2025

Auteurs: Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Honglin Chen, Khai Loong Aw, Daniel L. K. Yamins

cs.AI

Samenvatting

3D-scenebegrip vanuit enkele afbeeldingen is een cruciaal probleem in computervisie met talrijke toepassingen in grafische weergave, augmented reality en robotica. Hoewel op diffusie gebaseerde modelleerbenaderingen veelbelovend zijn, hebben ze vaak moeite om object- en sceneconsistentie te behouden, vooral in complexe real-world scenario's. Om deze beperkingen aan te pakken, stellen we een autoregressieve generatieve benadering voor genaamd Local Random Access Sequence (LRAS) modellering, die gebruikmaakt van lokale patchkwantisatie en willekeurig geordende sequentiegeneratie. Door optische stroom te gebruiken als een tussenliggende representatie voor 3D-scenebewerking, tonen onze experimenten aan dat LRAS state-of-the-art prestaties bereikt in novel view synthesis en 3D-objectmanipulatie. Bovendien laten we zien dat ons framework zich van nature uitbreidt naar zelfgesuperviseerde diepteschatting door een eenvoudige aanpassing van de sequentieontwerp. Door sterke prestaties te behalen op meerdere 3D-scenebegriptaken, biedt LRAS een verenigd en effectief framework voor het bouwen van de volgende generatie 3D-visiemodellen.

English

3D scene understanding from single images is a pivotal problem in computer vision with numerous downstream applications in graphics, augmented reality, and robotics. While diffusion-based modeling approaches have shown promise, they often struggle to maintain object and scene consistency, especially in complex real-world scenarios. To address these limitations, we propose an autoregressive generative approach called Local Random Access Sequence (LRAS) modeling, which uses local patch quantization and randomly ordered sequence generation. By utilizing optical flow as an intermediate representation for 3D scene editing, our experiments demonstrate that LRAS achieves state-of-the-art novel view synthesis and 3D object manipulation capabilities. Furthermore, we show that our framework naturally extends to self-supervised depth estimation through a simple modification of the sequence design. By achieving strong performance on multiple 3D scene understanding tasks, LRAS provides a unified and effective framework for building the next generation of 3D vision models.