TRIPS: リアルタイム放射場レンダリングのための三線形ポイントスプラッティング
TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering
January 11, 2024
著者: Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger
cs.AI
要旨
ポイントベースのラジアンスフィールドレンダリングは、新規視点合成において印象的な結果を示し、レンダリング品質と計算効率の魅力的な融合を提供しています。しかし、この分野の最新のアプローチにも欠点はあります。3Dガウシアンスプラッティング[Kerbl and Kopanas et al. 2023]は、高度に詳細なシーンのレンダリングにおいて、ぼやけや雲状のアーティファクトが生じるため苦戦しています。一方、ADOP[Rückert et al. 2022]はより鮮明な画像を生成できますが、ニューラル再構築ネットワークが性能を低下させ、時間的な不安定性に悩まされ、ポイントクラウドの大きなギャップを効果的に解決できません。
本論文では、ガウシアンスプラッティングとADOPの両方のアイデアを組み合わせたアプローチであるTRIPS（Trilinear Point Splatting）を提案します。私たちの新しい技術の基本的な概念は、ポイントをスクリーンスペースの画像ピラミッドにラスタライズし、投影されたポイントサイズによってピラミッドレイヤーを選択することです。このアプローチにより、単一のトリリニア書き込みを使用して任意に大きなポイントをレンダリングできます。その後、軽量なニューラルネットワークを使用して、スプラット解像度を超えた詳細を含む穴のない画像を再構築します。重要なことに、私たちのレンダリングパイプラインは完全に微分可能であり、ポイントサイズと位置の自動最適化を可能にします。
評価の結果、TRIPSは既存の最先端の手法を凌駕するレンダリング品質を実現し、一般的に入手可能なハードウェア上で60フレーム/秒のリアルタイムフレームレートを維持します。この性能は、複雑なジオメトリ、広大な風景、自動露出された映像を含む挑戦的なシナリオにも及びます。
English
Point-based radiance field rendering has demonstrated impressive results for
novel view synthesis, offering a compelling blend of rendering quality and
computational efficiency. However, also latest approaches in this domain are
not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al.
2023] struggles when tasked with rendering highly detailed scenes, due to
blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022]
can accommodate crisper images, but the neural reconstruction network decreases
performance, it grapples with temporal instability and it is unable to
effectively address large gaps in the point cloud.
In this paper, we present TRIPS (Trilinear Point Splatting), an approach that
combines ideas from both Gaussian Splatting and ADOP. The fundamental concept
behind our novel technique involves rasterizing points into a screen-space
image pyramid, with the selection of the pyramid layer determined by the
projected point size. This approach allows rendering arbitrarily large points
using a single trilinear write. A lightweight neural network is then used to
reconstruct a hole-free image including detail beyond splat resolution.
Importantly, our render pipeline is entirely differentiable, allowing for
automatic optimization of both point sizes and positions.
Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art
methods in terms of rendering quality while maintaining a real-time frame rate
of 60 frames per second on readily available hardware. This performance extends
to challenging scenarios, such as scenes featuring intricate geometry,
expansive landscapes, and auto-exposed footage.