Projection Gaussienne Radiative pour la Synthèse Efficace de Vues Nouvelles en Rayons X
Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis
March 7, 2024
Auteurs: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang, Xiaokang Yang, Zongwei Zhou, Alan Yuille
cs.AI
Résumé
Les rayons X sont largement utilisés pour l'imagerie par transmission en raison de leur pénétration plus forte que la lumière naturelle. Lors du rendu de nouvelles projections de rayons X, les méthodes existantes basées principalement sur NeRF souffrent d'un temps d'entraînement long et d'une vitesse d'inférence lente. Dans cet article, nous proposons un cadre basé sur le splatting de Gaussiennes 3D, nommé X-Gaussian, pour la synthèse de nouvelles vues en rayons X. Tout d'abord, nous redessinons un modèle de nuage de points Gaussien radiatif inspiré par la nature isotrope de l'imagerie par rayons X. Notre modèle exclut l'influence de la direction de vue lors de l'apprentissage pour prédire l'intensité de radiation des points 3D. Sur la base de ce modèle, nous développons un Rasterisation Radiative Différentiable (DRR) avec une implémentation CUDA. Deuxièmement, nous personnalisons une stratégie d'Initialisation Uniforme de Cuboïde avec Angle-pose (ACUI) qui utilise directement les paramètres du scanner à rayons X pour calculer les informations de la caméra, puis échantillonne uniformément les positions des points dans un cuboïde englobant l'objet scanné. Les expériences montrent que notre X-Gaussian surpasse les méthodes de pointe de 6,5 dB tout en bénéficiant de moins de 15 % du temps d'entraînement et d'une vitesse d'inférence plus de 73 fois supérieure. L'application à la reconstruction de CT à vue clairsemée révèle également les valeurs pratiques de notre méthode. Le code et les modèles seront disponibles publiquement à l'adresse https://github.com/caiyuanhao1998/X-Gaussian. Une démonstration vidéo de la visualisation du processus d'entraînement est disponible à l'adresse https://www.youtube.com/watch?v=gDVf_Ngeghg.
English
X-ray is widely applied for transmission imaging due to its stronger
penetration than natural light. When rendering novel view X-ray projections,
existing methods mainly based on NeRF suffer from long training time and slow
inference speed. In this paper, we propose a 3D Gaussian splatting-based
framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we
redesign a radiative Gaussian point cloud model inspired by the isotropic
nature of X-ray imaging. Our model excludes the influence of view direction
when learning to predict the radiation intensity of 3D points. Based on this
model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA
implementation. Secondly, we customize an Angle-pose Cuboid Uniform
Initialization (ACUI) strategy that directly uses the parameters of the X-ray
scanner to compute the camera information and then uniformly samples point
positions within a cuboid enclosing the scanned object. Experiments show that
our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying
less than 15% training time and over 73x inference speed. The application on
sparse-view CT reconstruction also reveals the practical values of our method.
Code and models will be publicly available at
https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training
process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .