Splatter Image: 超高速シングルビュー3D再構成

要旨

Splatter Imageを紹介します。これは、38 FPSで動作する単眼3Dオブジェクト再構成のための超高速アプローチです。Splatter Imageは、最近、リアルタイムレンダリング、高速トレーニング、そしてマルチビュー再構成における優れたスケーリングをもたらしたGaussian Splattingに基づいています。初めて、Gaussian Splattingを単眼再構成の設定に適用します。私たちのアプローチは学習ベースであり、テスト時には、再構成にニューラルネットワークの順伝播評価のみを必要とします。Splatter Imageの主な革新は、驚くほどシンプルな設計です：2D画像から画像へのネットワークを使用して、入力画像をピクセルごとに1つの3Dガウシアンにマッピングします。結果として得られるガウシアンは、Splatter Imageという形の画像になります。さらに、この方法を拡張して、複数の画像を入力として取り込むことができるようにし、クロスビューアテンションを追加することで実現しています。レンダラーの速度（588 FPS）のおかげで、単一のGPUを使用してトレーニングを行いながら、各イテレーションで全体の画像を生成し、LPIPSのような知覚的メトリクスを最適化することができます。標準的なベンチマークでは、高速な再構成だけでなく、PSNR、LPIPS、その他のメトリクスにおいて、最近の非常に高価なベースラインよりも優れた結果を示しています。

English

We introduce the Splatter Image, an ultra-fast approach for monocular 3D object reconstruction which operates at 38 FPS. Splatter Image is based on Gaussian Splatting, which has recently brought real-time rendering, fast training, and excellent scaling to multi-view reconstruction. For the first time, we apply Gaussian Splatting in a monocular reconstruction setting. Our approach is learning-based, and, at test time, reconstruction only requires the feed-forward evaluation of a neural network. The main innovation of Splatter Image is the surprisingly straightforward design: it uses a 2D image-to-image network to map the input image to one 3D Gaussian per pixel. The resulting Gaussians thus have the form of an image, the Splatter Image. We further extend the method to incorporate more than one image as input, which we do by adding cross-view attention. Owning to the speed of the renderer (588 FPS), we can use a single GPU for training while generating entire images at each iteration in order to optimize perceptual metrics like LPIPS. On standard benchmarks, we demonstrate not only fast reconstruction but also better results than recent and much more expensive baselines in terms of PSNR, LPIPS, and other metrics.

Splatter Image: 超高速シングルビュー3D再構成

Splatter Image: Ultra-Fast Single-View 3D Reconstruction

要旨

Support