MeshSplatting: 불투명 메쉬를 활용한 미분 가능 렌더링

초록

3D 가우시안 스플래팅과 같은 프리미티브 기반 스플래팅 방법은 실시간 렌더링으로 새로운 시점 합성 분야에 혁명을 일으켰습니다. 그러나 이러한 점 기반 표현은 AR/VR 및 게임 엔진의 기반이 되는 메시 기반 파이프라인과는 여전히 호환되지 않습니다. 본 논문에서는 미분 가능 렌더링을 통해 형상과 외관을 공동 최적화하는 메시 기반 재구성 접근법인 MeshSplatting을 제안합니다. 제한된 들로네 삼각분할을 통해 연결성을 강화하고 표면 일관성을 정제함으로써, MeshSplatting은 실시간 3D 엔진에서 효율적으로 렌더링되는 종단간 매끄럽고 시각적으로 고품질인 메시를 생성합니다. Mip-NeRF360 데이터셋에서 메시 기반 새로운 시점 합성을 위한 최신 기술인 MiLo 대비 PSNR을 +0.69dB 향상시키면서, 학습 속도는 2배 빠르고 메모리 사용량은 2배 적어 신경망 렌더링과 인터랙티브 3D 그래픽스의 간극을 메우며 원활한 실시간 장면 상호작용을 가능하게 합니다. 프로젝트 페이지는 https://meshsplatting.github.io/에서 확인할 수 있습니다.

English

Primitive-based splatting methods like 3D Gaussian Splatting have revolutionized novel view synthesis with real-time rendering. However, their point-based representations remain incompatible with mesh-based pipelines that power AR/VR and game engines. We present MeshSplatting, a mesh-based reconstruction approach that jointly optimizes geometry and appearance through differentiable rendering. By enforcing connectivity via restricted Delaunay triangulation and refining surface consistency, MeshSplatting creates end-to-end smooth, visually high-quality meshes that render efficiently in real-time 3D engines. On Mip-NeRF360, it boosts PSNR by +0.69 dB over the current state-of-the-art MiLo for mesh-based novel view synthesis, while training 2x faster and using 2x less memory, bridging neural rendering and interactive 3D graphics for seamless real-time scene interaction. The project page is available at https://meshsplatting.github.io/.

MeshSplatting: 불투명 메쉬를 활용한 미분 가능 렌더링

MeshSplatting: Differentiable Rendering with Opaque Meshes

초록

Support