Триангуляционное размытие+: Дифференцируемый рендеринг с непрозрачными треугольниками

Аннотация

Реконструкция 3D-сцен и синтез новых ракурсов в последние годы демонстрируют стремительный прогресс. Метод Neural Radiance Fields показал, что непрерывные объемные поля излучения могут достигать высококачественного синтеза изображений, однако длительное время обучения и рендеринга ограничивают их практическое применение. Метод 3D Gaussian Splatting (3DGS) решил эти проблемы, представляя сцены с помощью миллионов гауссовских распределений, что обеспечило рендеринг в реальном времени и быструю оптимизацию. Однако гауссовские примитивы изначально не совместимы с меш-ориентированными конвейерами, используемыми в VR-гарнитурах и приложениях для графики в реальном времени. Существующие решения пытаются преобразовать гауссовы распределения в меши с помощью постобработки или двухэтапных конвейеров, что увеличивает сложность и ухудшает визуальное качество. В данной работе мы представляем метод Triangle Splatting+, который напрямую оптимизирует треугольники — фундаментальные примитивы компьютерной графики — в рамках дифференцируемого сплаттинга. Мы формулируем параметризацию треугольников, чтобы обеспечить связность через общие вершины, и разрабатываем стратегию обучения, которая обеспечивает непрозрачность треугольников. Конечный результат сразу готов к использованию в стандартных графических движках без постобработки. Эксперименты на наборах данных Mip-NeRF360 и Tanks & Temples показывают, что Triangle Splatting+ достигает передовых результатов в синтезе новых ракурсов на основе мешей. Наш метод превосходит предыдущие подходы сплаттинга по визуальной точности, оставаясь эффективным и быстрым в обучении. Кроме того, полученные полу-связанные меши поддерживают дальнейшие приложения, такие как физическое моделирование или интерактивные прогулки. Страница проекта доступна по адресу: https://trianglesplatting2.github.io/trianglesplatting2/.

English

Reconstructing 3D scenes and synthesizing novel views has seen rapid progress in recent years. Neural Radiance Fields demonstrated that continuous volumetric radiance fields can achieve high-quality image synthesis, but their long training and rendering times limit practicality. 3D Gaussian Splatting (3DGS) addressed these issues by representing scenes with millions of Gaussians, enabling real-time rendering and fast optimization. However, Gaussian primitives are not natively compatible with the mesh-based pipelines used in VR headsets, and real-time graphics applications. Existing solutions attempt to convert Gaussians into meshes through post-processing or two-stage pipelines, which increases complexity and degrades visual quality. In this work, we introduce Triangle Splatting+, which directly optimizes triangles, the fundamental primitive of computer graphics, within a differentiable splatting framework. We formulate triangle parametrization to enable connectivity through shared vertices, and we design a training strategy that enforces opaque triangles. The final output is immediately usable in standard graphics engines without post-processing. Experiments on the Mip-NeRF360 and Tanks & Temples datasets show that Triangle Splatting+achieves state-of-the-art performance in mesh-based novel view synthesis. Our method surpasses prior splatting approaches in visual fidelity while remaining efficient and fast to training. Moreover, the resulting semi-connected meshes support downstream applications such as physics-based simulation or interactive walkthroughs. The project page is https://trianglesplatting2.github.io/trianglesplatting2/.

Триангуляционное размытие+: Дифференцируемый рендеринг с непрозрачными треугольниками

Triangle Splatting+: Differentiable Rendering with Opaque Triangles

Аннотация

Support