GSTAR : Suivi et Reconstruction de Surface Gaussienne

GSTAR: Gaussian Surface Tracking and Reconstruction

January 17, 2025

Auteurs: Chengwei Zheng, Lixin Xue, Juan Zarate, Jie Song

cs.AI

Résumé

Les techniques de "splatting" gaussien en 3D ont permis un rendu efficace et photoréaliste de scènes statiques. Des travaux récents ont étendu ces approches pour prendre en charge la reconstruction de surfaces et le suivi. Cependant, le suivi de surfaces dynamiques avec des Gaussiennes en 3D reste difficile en raison de changements de topologie complexes, tels que l'apparition, la disparition ou la division de surfaces. Pour relever ces défis, nous proposons GSTAR, une méthode novatrice qui permet un rendu photoréaliste, une reconstruction précise de surfaces et un suivi 3D fiable pour des scènes dynamiques générales avec une topologie changeante. En utilisant des captures multi-vues en entrée, GSTAR associe des Gaussiennes aux faces du maillage pour représenter des objets dynamiques. Pour les surfaces présentant une topologie cohérente, GSTAR maintient la topologie du maillage et suit les maillages à l'aide des Gaussiennes. Dans les régions où la topologie change, GSTAR détache de manière adaptative les Gaussiennes du maillage, permettant un enregistrement précis et la génération de nouvelles surfaces basées sur ces Gaussiennes optimisées. De plus, nous introduisons une méthode de flux de scène basée sur la surface qui fournit une initialisation robuste pour le suivi entre les images. Les expériences démontrent que notre méthode suit et reconstruit efficacement des surfaces dynamiques, permettant une gamme d'applications. Notre page de projet avec la publication du code est disponible sur https://eth-ait.github.io/GSTAR/.

English

3D Gaussian Splatting techniques have enabled efficient photo-realistic rendering of static scenes. Recent works have extended these approaches to support surface reconstruction and tracking. However, tracking dynamic surfaces with 3D Gaussians remains challenging due to complex topology changes, such as surfaces appearing, disappearing, or splitting. To address these challenges, we propose GSTAR, a novel method that achieves photo-realistic rendering, accurate surface reconstruction, and reliable 3D tracking for general dynamic scenes with changing topology. Given multi-view captures as input, GSTAR binds Gaussians to mesh faces to represent dynamic objects. For surfaces with consistent topology, GSTAR maintains the mesh topology and tracks the meshes using Gaussians. In regions where topology changes, GSTAR adaptively unbinds Gaussians from the mesh, enabling accurate registration and the generation of new surfaces based on these optimized Gaussians. Additionally, we introduce a surface-based scene flow method that provides robust initialization for tracking between frames. Experiments demonstrate that our method effectively tracks and reconstructs dynamic surfaces, enabling a range of applications. Our project page with the code release is available at https://eth-ait.github.io/GSTAR/.