GaussianSelector: 그래프 최적화를 이용한 3D 가우시안 스플래팅에서의 경량 사용자 안내 객체 선택

초록

재구성된 장면에서 최소한의 사용자 조작으로 완전한 3D 객체를 선택하는 것은 실용적인 장면 편집 및 실감 상호작용에 필수적이다. 기존의 3DGS 기반 방법들은 객체별 라벨을 임베딩하기 위해 가우시안 표현을 재학습하거나, 조밀한 다중 뷰 SAM 관측치를 구축하는데, 둘 다 막대한 계산 비용과 실제로는 거의 확보하기 어려운 조밀한 시점 커버리지를 요구한다. 본 논문에서는 희소 뷰와 희소 낙서(scrawl) 안내만으로 상호작용적 3D 객체 선택을 가능하게 하는 학습 불필요(training-free) 프레임워크인 GaussianSelector를 제안한다. 우리는 네이티브 가우시안 프리미티브에 직접 작동하며, 조밀한 가우시안을 기하학적으로 일관된 슈퍼포인트로 조밀화하고, 외관 및 공간 단서를 이용한 연속성 가중치 그래프를 구축한다. 희소 사용자 낙서는 가시성 기반 투과율(transmittance) 커버리지를 통해 3D로 승격되며, 선택은 희소 증거를 완전한 3D 객체로 전파하는 전역 그래프 컷 에너지 최소화 문제로 해결된다. 이 설계는 사용자가 추가 시점에서 선택을 반복적으로 수정하여 결과를 점진적으로 개선하는 다중 라운드 정제(refinement)를 자연스럽게 지원한다. 실험 결과, GaussianSelector는 최첨단 다중 뷰 SAM 기반 방법들과 대등한 선택 품질을 달성하면서도 훨씬 적은 상호작용 시점과 상당히 낮은 계산 오버헤드를 요구함을 보여준다. 이러한 특성은 실제 배포 시나리오에서 인간-인-더-루프(human-in-the-loop) 3D 장면 편집 및 3D 자산 추출에 매우 적합함을 시사한다.

English

Selecting a complete 3D object from a reconstructed scene with minimal user effort is essential for practical scene editing and embodied interaction. Existing 3DGS-based methods either retrain the Gaussian representation to embed per-object labels, or build dense multi-view SAM observations, both requiring heavy computation and dense viewpoint coverage that is rarely available in practice. We present GaussianSelector, a training-free framework for interactive 3D object selection from sparse views and sparse scribble guidance. Operating directly on native Gaussian primitives, we coarsen dense Gaussians into geometrically coherent superpoints and construct a continuity-weighted graph using appearance and spatial cues. Sparse user scribbles are lifted into 3D via visibility-aware transmittance coverage, and selection is solved as a global graph-cut energy minimization that propagates sparse evidence to a complete 3D object. This design naturally supports multi-round refinement, where users iteratively correct the selection from additional viewpoints to progressively improve the result. Experiments demonstrate that GaussianSelector achieves competitive selection quality against state-of-the-art multi-view SAM-based methods, while requiring significantly fewer interaction views and substantially lower computational overhead. These properties make it well suited for human-in-the-loop 3D scene editing and 3D asset extraction in real-world deployment scenarios.