Click-Gaussian: 3D 가우시안에 대한 인터랙티브 세그멘테이션

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

저자: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

초록

3D 가우시안 스플래팅(3D Gaussian Splatting)의 실시간 렌더링 능력 덕분에, 3D 가우시안의 인터랙티브 세분화는 3D 장면의 실시간 조작에 큰 기회를 제공합니다. 그러나 현재의 방법들은 노이즈가 있는 세분화 출력을 처리하기 위해 시간이 많이 소요되는 후처리 과정을 필요로 합니다. 또한, 3D 장면의 세밀한 조작에 중요한 상세한 세분화를 제공하는 데 어려움을 겪고 있습니다. 본 연구에서는 시간이 많이 소요되는 후처리 없이도 세분화를 용이하게 하는 두 가지 수준의 세분화 가능한 특징 필드를 학습하는 Click-Gaussian을 제안합니다. 우리는 3D 장면과 독립적으로 얻어진 2D 세분화로부터 발생하는 일관성 없이 학습된 특징 필드로 인한 문제를 깊이 탐구합니다. 3D 세분화의 주요 단서인 다양한 뷰 간의 2D 세분화 결과가 충돌할 때 3D 세분화 정확도가 저하됩니다. 이러한 문제를 극복하기 위해, 우리는 글로벌 특징-가이드 학습(Global Feature-guided Learning, GFL)을 제안합니다. GFL은 다양한 뷰에서 얻은 노이즈가 있는 2D 세그먼트로부터 글로벌 특징 후보 클러스터를 구성하여, 3D 가우시안의 특징을 학습할 때 노이즈를 완화합니다. 우리의 방법은 클릭당 10ms로 실행되며, 이전 방법들보다 15~130배 빠른 속도를 보이면서도 세분화 정확도를 크게 향상시킵니다. 우리의 프로젝트 페이지는 https://seokhunchoi.github.io/Click-Gaussian에서 확인할 수 있습니다.

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian