Splatting Gaussiano Radiativo per una Sintesi Efficiente di Nuove Visualizzazioni ai Raggi X

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

March 7, 2024

Autori: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang, Xiaokang Yang, Zongwei Zhou, Alan Yuille

cs.AI

Abstract

I raggi X sono ampiamente utilizzati per l'imaging a trasmissione grazie alla loro maggiore penetrazione rispetto alla luce naturale. Quando si generano proiezioni di raggi X da nuove prospettive, i metodi esistenti basati principalmente su NeRF soffrono di lunghi tempi di addestramento e di una velocità di inferenza lenta. In questo articolo, proponiamo un framework basato su 3D Gaussian splatting, denominato X-Gaussian, per la sintesi di nuove viste di raggi X. In primo luogo, ridisegniamo un modello di nuvola di punti Gaussiana radiante ispirato alla natura isotropica dell'imaging a raggi X. Il nostro modello esclude l'influenza della direzione di vista durante l'apprendimento per prevedere l'intensità di radiazione dei punti 3D. Sulla base di questo modello, sviluppiamo una Rasterizzazione Radiante Differenziabile (DRR) con implementazione CUDA. In secondo luogo, personalizziamo una strategia di Inizializzazione Uniforme Cuboide Angolo-posa (ACUI) che utilizza direttamente i parametri dello scanner a raggi X per calcolare le informazioni della telecamera e poi campiona uniformemente le posizioni dei punti all'interno di un cuboide che racchiude l'oggetto scansionato. Gli esperimenti mostrano che il nostro X-Gaussian supera i metodi all'avanguardia di 6,5 dB, godendo di meno del 15% del tempo di addestramento e di una velocità di inferenza superiore a 73x. L'applicazione nella ricostruzione TC a vista sparsa rivela anche i valori pratici del nostro metodo. Codice e modelli saranno pubblicamente disponibili su https://github.com/caiyuanhao1998/X-Gaussian. Una demo video della visualizzazione del processo di addestramento è disponibile su https://www.youtube.com/watch?v=gDVf_Ngeghg.

English

X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code and models will be publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .