삼각형 스플래팅+: 불투명 삼각형을 활용한 미분 가능 렌더링

초록

3D 장면 재구성과 새로운 시점 합성은 최근 몇 년 동안 빠르게 발전해 왔습니다. Neural Radiance Fields(NeRF)는 연속적인 볼륨 방사 필드가 고품질 이미지 합성을 달성할 수 있음을 보여주었지만, 긴 학습 및 렌더링 시간으로 인해 실용성이 제한되었습니다. 3D Gaussian Splatting(3DGS)은 수백만 개의 가우시안으로 장면을 표현함으로써 이러한 문제를 해결하고 실시간 렌더링과 빠른 최적화를 가능하게 했습니다. 그러나 가우시안 프리미티브는 VR 헤드셋과 실시간 그래픽 애플리케이션에서 사용되는 메시 기반 파이프라인과 기본적으로 호환되지 않습니다. 기존 솔루션은 후처리나 두 단계 파이프라인을 통해 가우시안을 메시로 변환하려 시도하지만, 이는 복잡성을 증가시키고 시각적 품질을 저하시킵니다. 본 연구에서는 컴퓨터 그래픽스의 기본 프리미티브인 삼각형을 미분 가능한 스플래팅 프레임워크 내에서 직접 최적화하는 Triangle Splatting+를 소개합니다. 우리는 공유 정점을 통해 연결성을 가능하게 하는 삼각형 파라미터화를 공식화하고, 불투명 삼각형을 강제하는 학습 전략을 설계합니다. 최종 출력은 후처리 없이 표준 그래픽 엔진에서 즉시 사용할 수 있습니다. Mip-NeRF360 및 Tanks & Temples 데이터셋에서의 실험 결과, Triangle Splatting+는 메시 기반 새로운 시점 합성에서 최첨단 성능을 달성함을 보여줍니다. 우리의 방법은 시각적 충실도에서 기존 스플래팅 접근법을 능가하면서도 효율적이고 빠른 학습 속도를 유지합니다. 또한, 결과물로 생성된 반연결 메시는 물리 기반 시뮬레이션이나 인터랙티브 워크스루와 같은 다운스트림 애플리케이션을 지원합니다. 프로젝트 페이지는 https://trianglesplatting2.github.io/trianglesplatting2/에서 확인할 수 있습니다.

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.

삼각형 스플래팅+: 불투명 삼각형을 활용한 미분 가능 렌더링

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

초록

Support