最適化不要の3Dガウススプラットスタイル転送

要旨

3Dガウススプラットのスタイル転送タスクは、これまで多くの研究で取り組まれてきたが、それらはスタイル情報を組み込みながらスプラットを再構築または微調整するか、スプラット表現上で特徴抽出ネットワークを最適化することを必要としていた。本研究では、再構築や最適化を必要としない3Dガウススプラットのスタイリング手法を提案する。これは、スプラット表現の陰的表面上にグラフ構造を生成することで実現される。その後、フィードフォワード型の表面ベースのスタイリング手法が適用され、シーン内の個々のスプラットに補間される。これにより、追加のトレーニングや最適化を必要とせず、任意のスタイル画像と3Dガウススプラットを使用することが可能となる。また、この手法によりスプラットの高速なスタイリングが実現され、コンシューマーグレードのハードウェア上でも2分未満で処理が完了する。本手法が達成する品質の結果を示し、他の3Dガウススプラットスタイル転送手法と比較する。コードはhttps://github.com/davidmhart/FastSplatStylerで公開されている。

English

The task of style transfer for 3D Gaussian splats has been explored in many previous works, but these require reconstructing or fine-tuning the splat while incorporating style information or optimizing a feature extraction network on the splat representation. We propose a reconstruction- and optimization-free approach to stylizing 3D Gaussian splats. This is done by generating a graph structure across the implicit surface of the splat representation. A feed-forward, surface-based stylization method is then used and interpolated back to the individual splats in the scene. This allows for any style image and 3D Gaussian splat to be used without any additional training or optimization. This also allows for fast stylization of splats, achieving speeds under 2 minutes even on consumer-grade hardware. We demonstrate the quality results this approach achieves and compare to other 3D Gaussian splat style transfer methods. Code is publicly available at https://github.com/davidmhart/FastSplatStyler.

最適化不要の3Dガウススプラットスタイル転送

Optimization-Free Style Transfer for 3D Gaussian Splats

要旨

Support