Scaffold-GS: 시점 적응형 렌더링을 위한 구조화된 3D 가우시안

초록

신경망 기반 렌더링 방법은 다양한 학문적 및 산업적 응용 분야에서 사실적인 3D 장면 렌더링을 크게 발전시켰습니다. 최근의 3D 가우시안 스플래팅 방법은 기본 요소 기반 표현과 체적 표현의 장점을 결합하여 최첨단 렌더링 품질과 속도를 달성했습니다. 그러나 이 방법은 종종 모든 학습 뷰를 맞추기 위해 과도하게 중복된 가우시안을 생성하며, 이는 기본 장면 기하학을 간과하게 됩니다. 결과적으로 생성된 모델은 큰 시점 변화, 텍스처가 없는 영역 및 조명 효과에 대해 덜 견고해집니다. 우리는 Scaffold-GS를 소개합니다. 이 방법은 앵커 포인트를 사용하여 로컬 3D 가우시안을 분배하고, 뷰 프러스텀 내에서의 시점 방향과 거리에 기반하여 해당 속성을 실시간으로 예측합니다. 앵커 성장 및 가지치기 전략은 신경 가우시안의 중요도에 기반하여 장면 커버리지를 안정적으로 개선하기 위해 개발되었습니다. 우리의 방법은 고품질 렌더링을 제공하면서 중복 가우시안을 효과적으로 줄이는 것을 보여줍니다. 또한, 렌더링 속도를 희생하지 않고 다양한 수준의 디테일과 시점 의존적 관찰을 포함한 장면을 수용하는 능력이 향상되었음을 입증합니다.

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.

Scaffold-GS: 시점 적응형 렌더링을 위한 구조화된 3D 가우시안

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

초록

Support