GSTAR: Rastreamento e Reconstrução de Superfícies Gaussianas

GSTAR: Gaussian Surface Tracking and Reconstruction

January 17, 2025

Autores: Chengwei Zheng, Lixin Xue, Juan Zarate, Jie Song

cs.AI

Resumo

As técnicas de Splatting Gaussiano 3D têm possibilitado a renderização eficiente e fotorrealista de cenas estáticas. Trabalhos recentes têm estendido essas abordagens para suportar a reconstrução e rastreamento de superfícies. No entanto, o rastreamento de superfícies dinâmicas com Gaussianas 3D ainda é desafiador devido a mudanças de topologia complexas, como superfícies que aparecem, desaparecem ou se dividem. Para lidar com esses desafios, propomos o GSTAR, um método inovador que alcança renderização fotorrealista, reconstrução precisa de superfícies e rastreamento 3D confiável para cenas dinâmicas gerais com topologia variável. Dadas capturas de múltiplas vistas como entrada, o GSTAR associa Gaussianas às faces da malha para representar objetos dinâmicos. Para superfícies com topologia consistente, o GSTAR mantém a topologia da malha e rastreia as malhas usando Gaussianas. Em regiões onde a topologia muda, o GSTAR desvincula adaptativamente as Gaussianas da malha, possibilitando um registro preciso e a geração de novas superfícies com base nessas Gaussianas otimizadas. Além disso, introduzimos um método de fluxo de cena baseado em superfície que fornece uma inicialização robusta para o rastreamento entre quadros. Experimentos demonstram que nosso método rastreia e reconstrói efetivamente superfícies dinâmicas, possibilitando uma variedade de aplicações. Nossa página do projeto com o código disponível está disponível em https://eth-ait.github.io/GSTAR/.

English

3D Gaussian Splatting techniques have enabled efficient photo-realistic rendering of static scenes. Recent works have extended these approaches to support surface reconstruction and tracking. However, tracking dynamic surfaces with 3D Gaussians remains challenging due to complex topology changes, such as surfaces appearing, disappearing, or splitting. To address these challenges, we propose GSTAR, a novel method that achieves photo-realistic rendering, accurate surface reconstruction, and reliable 3D tracking for general dynamic scenes with changing topology. Given multi-view captures as input, GSTAR binds Gaussians to mesh faces to represent dynamic objects. For surfaces with consistent topology, GSTAR maintains the mesh topology and tracks the meshes using Gaussians. In regions where topology changes, GSTAR adaptively unbinds Gaussians from the mesh, enabling accurate registration and the generation of new surfaces based on these optimized Gaussians. Additionally, we introduce a surface-based scene flow method that provides robust initialization for tracking between frames. Experiments demonstrate that our method effectively tracks and reconstructs dynamic surfaces, enabling a range of applications. Our project page with the code release is available at https://eth-ait.github.io/GSTAR/.