Radiërende Gaussische Splatting voor Efficiënte X-ray Nieuwe Weergave Synthese

Samenvatting

X-ray wordt veelvuldig toegepast voor transmissiebeeldvorming vanwege zijn sterkere penetratievermogen in vergelijking met natuurlijk licht. Bij het renderen van nieuwe X-ray projecties kampen bestaande methoden, voornamelijk gebaseerd op NeRF, met lange trainingstijden en trage inferentiesnelheden. In dit artikel stellen we een op 3D Gaussian splatting gebaseerd framework voor, genaamd X-Gaussian, voor de synthese van nieuwe X-ray beelden. Ten eerste herontwerpen we een stralings-Gaussisch puntenwolkmodel, geïnspireerd door de isotrope aard van X-ray beeldvorming. Ons model sluit de invloed van de kijkrichting uit bij het leren voorspellen van de stralingsintensiteit van 3D-punten. Op basis van dit model ontwikkelen we een Differentiable Radiative Rasterization (DRR) met CUDA-implementatie. Ten tweede stellen we een Angle-pose Cuboid Uniform Initialization (ACUI)-strategie op die direct de parameters van de X-ray scanner gebruikt om de camerainformatie te berekenen en vervolgens de puntposities uniform bemonstert binnen een kubus die het gescande object omsluit. Experimenten tonen aan dat onze X-Gaussian state-of-the-art methoden met 6,5 dB overtreft, terwijl het minder dan 15% trainingstijd en meer dan 73x inferentiesnelheid geniet. De toepassing op sparse-view CT-reconstructie onthult ook de praktische waarden van onze methode. Code en modellen zullen openbaar beschikbaar zijn op https://github.com/caiyuanhao1998/X-Gaussian. Een videodemo van de visualisatie van het trainingsproces is te vinden op https://www.youtube.com/watch?v=gDVf_Ngeghg.

English

X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code and models will be publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .

Radiërende Gaussische Splatting voor Efficiënte X-ray Nieuwe Weergave Synthese

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

Samenvatting

Support