Compreensão de Cenas 3D por meio de Modelagem de Sequência com Acesso Aleatório Local

3D Scene Understanding Through Local Random Access Sequence Modeling

April 4, 2025

Autores: Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Honglin Chen, Khai Loong Aw, Daniel L. K. Yamins

cs.AI

Resumo

A compreensão de cenas 3D a partir de imagens únicas é um problema fundamental na visão computacional, com diversas aplicações subsequentes em gráficos, realidade aumentada e robótica. Embora abordagens baseadas em difusão tenham mostrado potencial, elas frequentemente enfrentam dificuldades em manter a consistência de objetos e cenas, especialmente em cenários complexos do mundo real. Para superar essas limitações, propomos uma abordagem generativa autoregressiva chamada Modelagem de Sequência de Acesso Aleatório Local (LRAS), que utiliza quantização de patches locais e geração de sequências ordenadas aleatoriamente. Ao empregar o fluxo óptico como uma representação intermediária para edição de cenas 3D, nossos experimentos demonstram que o LRAS alcança capacidades de síntese de novas vistas e manipulação de objetos 3D de última geração. Além disso, mostramos que nosso framework se estende naturalmente à estimativa de profundidade auto-supervisionada por meio de uma simples modificação no design da sequência. Ao obter um desempenho robusto em múltiplas tarefas de compreensão de cenas 3D, o LRAS fornece um framework unificado e eficaz para a construção da próxima geração de modelos de visão 3D.

English

3D scene understanding from single images is a pivotal problem in computer vision with numerous downstream applications in graphics, augmented reality, and robotics. While diffusion-based modeling approaches have shown promise, they often struggle to maintain object and scene consistency, especially in complex real-world scenarios. To address these limitations, we propose an autoregressive generative approach called Local Random Access Sequence (LRAS) modeling, which uses local patch quantization and randomly ordered sequence generation. By utilizing optical flow as an intermediate representation for 3D scene editing, our experiments demonstrate that LRAS achieves state-of-the-art novel view synthesis and 3D object manipulation capabilities. Furthermore, we show that our framework naturally extends to self-supervised depth estimation through a simple modification of the sequence design. By achieving strong performance on multiple 3D scene understanding tasks, LRAS provides a unified and effective framework for building the next generation of 3D vision models.