効率的なX線新視点合成のための放射ガウススプラッティング

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

March 7, 2024

著者: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang, Xiaokang Yang, Zongwei Zhou, Alan Yuille

cs.AI

要旨

X線は自然光よりも強い透過性を持つため、透過画像撮影に広く応用されている。新視点X線投影を生成する際、既存の手法は主にNeRFに基づいており、長時間のトレーニングと遅い推論速度が課題となっている。本論文では、X線新視点合成のための3Dガウシアンスプラッティングに基づくフレームワーク、X-Gaussianを提案する。まず、X線撮影の等方性に着想を得て、放射ガウシアンポイントクラウドモデルを再設計した。本モデルでは、3D点の放射強度を予測する際に視点方向の影響を排除している。このモデルに基づき、CUDA実装による微分可能放射ラスタライゼーション（DRR）を開発した。次に、X線スキャナのパラメータを直接利用してカメラ情報を計算し、スキャン対象物を囲む直方体内で点位置を均一にサンプリングするAngle-pose Cuboid Uniform Initialization（ACUI）戦略をカスタマイズした。実験結果から、X-Gaussianは最先端の手法を6.5 dB上回り、トレーニング時間は15%未満、推論速度は73倍以上であることが示された。疎ビューCT再構成への応用も、本手法の実用的価値を明らかにしている。コードとモデルはhttps://github.com/caiyuanhao1998/X-Gaussianで公開予定である。トレーニングプロセスの可視化デモ動画はhttps://www.youtube.com/watch?v=gDVf_Ngeghgで閲覧可能である。

English

X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code and models will be publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .