3D-понимание сцены через моделирование последовательностей с локальным произвольным доступом

3D Scene Understanding Through Local Random Access Sequence Modeling

April 4, 2025

Авторы: Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Honglin Chen, Khai Loong Aw, Daniel L. K. Yamins

cs.AI

Аннотация

Понимание трехмерных сцен по одиночным изображениям является ключевой задачей в компьютерном зрении с множеством приложений в графике, дополненной реальности и робототехнике. Хотя подходы на основе диффузионных моделей показали перспективность, они часто испытывают трудности с поддержанием согласованности объектов и сцен, особенно в сложных реальных сценариях. Для преодоления этих ограничений мы предлагаем авторегрессивный генеративный подход под названием моделирование локальной последовательности с произвольным доступом (Local Random Access Sequence, LRAS), который использует квантование локальных патчей и генерацию последовательностей в случайном порядке. Используя оптический поток в качестве промежуточного представления для редактирования 3D-сцен, наши эксперименты демонстрируют, что LRAS достигает передовых результатов в синтезе новых видов и манипуляции 3D-объектами. Кроме того, мы показываем, что наш фреймворк естественным образом расширяется до задачи самообучаемой оценки глубины с помощью простой модификации дизайна последовательности. Демонстрируя высокую производительность в нескольких задачах понимания 3D-сцен, LRAS предоставляет унифицированный и эффективный фреймворк для создания следующего поколения моделей 3D-зрения.

English

3D scene understanding from single images is a pivotal problem in computer vision with numerous downstream applications in graphics, augmented reality, and robotics. While diffusion-based modeling approaches have shown promise, they often struggle to maintain object and scene consistency, especially in complex real-world scenarios. To address these limitations, we propose an autoregressive generative approach called Local Random Access Sequence (LRAS) modeling, which uses local patch quantization and randomly ordered sequence generation. By utilizing optical flow as an intermediate representation for 3D scene editing, our experiments demonstrate that LRAS achieves state-of-the-art novel view synthesis and 3D object manipulation capabilities. Furthermore, we show that our framework naturally extends to self-supervised depth estimation through a simple modification of the sequence design. By achieving strong performance on multiple 3D scene understanding tasks, LRAS provides a unified and effective framework for building the next generation of 3D vision models.