MeshSplatting: Дифференцируемый рендеринг с непрозрачными мешами
MeshSplatting: Differentiable Rendering with Opaque Meshes
December 7, 2025
Авторы: Jan Held, Sanghyun Son, Renaud Vandeghen, Daniel Rebain, Matheus Gadelha, Yi Zhou, Anthony Cioppa, Ming C. Lin, Marc Van Droogenbroeck, Andrea Tagliasacchi
cs.AI
Аннотация
Методы сплатинга на основе примитивов, такие как 3D Gaussian Splatting, произвели революцию в синтезе новых видов, обеспечивая рендеринг в реальном времени. Однако их точечные представления остаются несовместимыми с конвейерами на основе полигональных сеток, которые используются в движках AR/VR и игровых движках. Мы представляем MeshSplatting — подход к реконструкции на основе полигональных сеток, который совместно оптимизирует геометрию и внешний вид посредством дифференцируемого рендеринга. Обеспечивая связность с помощью ограниченной триангуляции Делоне и улучшая согласованность поверхности, MeshSplatting создает сквозные гладкие, визуально высококачественные сетки, которые эффективно рендерятся в движках 3D-графики реального времени. На наборе данных Mip-NeRF360 метод превосходит текущий state-of-the-art метод MiLo для синтеза новых видов на основе сеток на +0.69 дБ по PSNR, при этом обучаясь в 2 раза быстрее и используя в 2 раза меньше памяти, что позволяет объединить нейронный рендеринг и интерактивную 3D-графику для бесшовного взаимодействия со сценой в реальном времени. Страница проекта доступна по адресу https://meshsplatting.github.io/.
English
Primitive-based splatting methods like 3D Gaussian Splatting have revolutionized novel view synthesis with real-time rendering. However, their point-based representations remain incompatible with mesh-based pipelines that power AR/VR and game engines. We present MeshSplatting, a mesh-based reconstruction approach that jointly optimizes geometry and appearance through differentiable rendering. By enforcing connectivity via restricted Delaunay triangulation and refining surface consistency, MeshSplatting creates end-to-end smooth, visually high-quality meshes that render efficiently in real-time 3D engines. On Mip-NeRF360, it boosts PSNR by +0.69 dB over the current state-of-the-art MiLo for mesh-based novel view synthesis, while training 2x faster and using 2x less memory, bridging neural rendering and interactive 3D graphics for seamless real-time scene interaction. The project page is available at https://meshsplatting.github.io/.