Click-Gaussian: 3Dガウシアンへのインタラクティブセグメンテーション

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

著者: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

要旨

3Dガウシアンのインタラクティブセグメンテーションは、3Dガウシアンスプラッティングのリアルタイムレンダリング能力により、3Dシーンのリアルタイム操作に大きな可能性を開きます。しかし、現在の手法では、ノイズの多いセグメンテーション出力を処理するための時間のかかる後処理が必要です。また、3Dシーンの細かい操作に重要な詳細なセグメンテーションを提供することにも苦労しています。本研究では、時間のかかる後処理なしでセグメンテーションを可能にする、2段階の粒度で識別可能な特徴フィールドを学習するClick-Gaussianを提案します。3Dシーンから独立して得られた2Dセグメンテーションに起因する、一貫性のない特徴フィールドの学習から生じる課題に深く取り組みます。3Dセグメンテーションの主要な手がかりであるビュー間の2Dセグメンテーション結果が矛盾している場合、3Dセグメンテーションの精度が低下します。これらの問題を克服するために、Global Feature-guided Learning (GFL)を提案します。GFLは、ビュー間のノイズの多い2Dセグメントからグローバル特徴候補のクラスタを構築し、3Dガウシアンの特徴を学習する際にノイズを平滑化します。我々の手法は、1クリックあたり10ミリ秒で動作し、従来の手法よりも15～130倍高速でありながら、セグメンテーション精度も大幅に向上させます。プロジェクトページはhttps://seokhunchoi.github.io/Click-Gaussianで公開されています。

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian