Требуется ли инициализация SFM для гауссовского сглаживания?

Does Gaussian Splatting need SFM Initialization?

April 18, 2024

Авторы: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi

cs.AI

Аннотация

3D Гауссово сглаживание недавно было принято как универсальный и эффективный метод для реконструкции сцен и синтеза нового вида благодаря своим высококачественным результатам и совместимости с аппаратным растеризацией. Несмотря на его преимущества, зависимость Гауссова сглаживания от высококачественной инициализации облака точек алгоритмами структуры из движения (SFM) является значительным ограничением, которое нужно преодолеть. В этом контексте мы исследуем различные стратегии инициализации для Гауссова сглаживания и изучаем, как объемные реконструкции из нейронных полярных излучений (NeRF) могут быть использованы для обхода зависимости от данных SFM. Наши результаты показывают, что случайная инициализация может работать намного лучше, если она тщательно разработана, и что, используя комбинацию улучшенных стратегий инициализации и дистилляции структуры из недорогих моделей NeRF, можно достичь эквивалентных результатов, а иногда даже превосходящих те, которые получаются при инициализации SFM.

English

3D Gaussian Splatting has recently been embraced as a versatile and effective method for scene reconstruction and novel view synthesis, owing to its high-quality results and compatibility with hardware rasterization. Despite its advantages, Gaussian Splatting's reliance on high-quality point cloud initialization by Structure-from-Motion (SFM) algorithms is a significant limitation to be overcome. To this end, we investigate various initialization strategies for Gaussian Splatting and delve into how volumetric reconstructions from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on SFM data. Our findings demonstrate that random initialization can perform much better if carefully designed and that by employing a combination of improved initialization strategies and structure distillation from low-cost NeRF models, it is possible to achieve equivalent results, or at times even superior, to those obtained from SFM initialization.