Compréhension de scènes 3D par modélisation de séquences à accès aléatoire local

3D Scene Understanding Through Local Random Access Sequence Modeling

April 4, 2025

Auteurs: Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Honglin Chen, Khai Loong Aw, Daniel L. K. Yamins

cs.AI

Résumé

La compréhension de scènes 3D à partir d'images uniques est un problème central en vision par ordinateur, avec de nombreuses applications en infographie, réalité augmentée et robotique. Bien que les approches basées sur la modélisation par diffusion aient montré des résultats prometteurs, elles peinent souvent à maintenir la cohérence des objets et des scènes, en particulier dans des scénarios réels complexes. Pour pallier ces limitations, nous proposons une approche générative autorégressive appelée modélisation par séquence à accès aléatoire local (LRAS), qui utilise une quantification par patchs locaux et une génération de séquences ordonnées aléatoirement. En exploitant le flux optique comme représentation intermédiaire pour l'édition de scènes 3D, nos expériences démontrent que LRAS atteint des performances de pointe en synthèse de vues nouvelles et en manipulation d'objets 3D. De plus, nous montrons que notre cadre s'étend naturellement à l'estimation de profondeur auto-supervisée grâce à une simple modification de la conception des séquences. En obtenant des performances solides sur plusieurs tâches de compréhension de scènes 3D, LRAS fournit un cadre unifié et efficace pour construire la prochaine génération de modèles de vision 3D.

English

3D scene understanding from single images is a pivotal problem in computer vision with numerous downstream applications in graphics, augmented reality, and robotics. While diffusion-based modeling approaches have shown promise, they often struggle to maintain object and scene consistency, especially in complex real-world scenarios. To address these limitations, we propose an autoregressive generative approach called Local Random Access Sequence (LRAS) modeling, which uses local patch quantization and randomly ordered sequence generation. By utilizing optical flow as an intermediate representation for 3D scene editing, our experiments demonstrate that LRAS achieves state-of-the-art novel view synthesis and 3D object manipulation capabilities. Furthermore, we show that our framework naturally extends to self-supervised depth estimation through a simple modification of the sequence design. By achieving strong performance on multiple 3D scene understanding tasks, LRAS provides a unified and effective framework for building the next generation of 3D vision models.