Click-Gaussian: Интерактивная сегментация для любых трехмерных гауссовых функций

Click-Gaussian: Interactive Segmentation to Any 3D Gaussians

July 16, 2024

Авторы: Seokhun Choi, Hyeonseop Song, Jaechul Kim, Taehyeong Kim, Hoseok Do

cs.AI

Аннотация

Интерактивная сегментация 3D гауссиан открывает большие возможности для манипулирования 3D сценами в реальном времени благодаря возможности реального времени рендеринга 3D гауссовского сплэттинга. Однако текущие методы страдают от длительной постобработки для работы с шумным выходом сегментации. Кроме того, они испытывают трудности в обеспечении детальной сегментации, что важно для тонкой манипуляции 3D сценами. В данном исследовании мы предлагаем Click-Gaussian, который изучает различимые признаковые поля двухуровневой детализации, облегчая сегментацию без длительной постобработки. Мы рассматриваем проблемы, вытекающие из несогласованных изученных признаковых полей, возникающих из 2D сегментации, полученной независимо от 3D сцены. Точность 3D сегментации ухудшается, когда результаты 2D сегментации по видам, основные подсказки для 3D сегментации, противоречат друг другу. Для преодоления этих проблем мы предлагаем Глобальное Функционально-Управляемое Обучение (Global Feature-guided Learning, GFL). GFL формирует кластеры глобальных кандидатов в признаки из шумных 2D сегментов по видам, что сглаживает шумы при обучении признаков 3D гауссиан. Наш метод работает за 10 мс на клик, в 15-130 раз быстрее, чем предыдущие методы, при этом значительно улучшая точность сегментации. Наша страница проекта доступна по адресу https://seokhunchoi.github.io/Click-Gaussian

English

Interactive segmentation of 3D Gaussians opens a great opportunity for real-time manipulation of 3D scenes thanks to the real-time rendering capability of 3D Gaussian Splatting. However, the current methods suffer from time-consuming post-processing to deal with noisy segmentation output. Also, they struggle to provide detailed segmentation, which is important for fine-grained manipulation of 3D scenes. In this study, we propose Click-Gaussian, which learns distinguishable feature fields of two-level granularity, facilitating segmentation without time-consuming post-processing. We delve into challenges stemming from inconsistently learned feature fields resulting from 2D segmentation obtained independently from a 3D scene. 3D segmentation accuracy deteriorates when 2D segmentation results across the views, primary cues for 3D segmentation, are in conflict. To overcome these issues, we propose Global Feature-guided Learning (GFL). GFL constructs the clusters of global feature candidates from noisy 2D segments across the views, which smooths out noises when training the features of 3D Gaussians. Our method runs in 10 ms per click, 15 to 130 times as fast as the previous methods, while also significantly improving segmentation accuracy. Our project page is available at https://seokhunchoi.github.io/Click-Gaussian