Esplatado Gaussiano Radiativo para la Síntesis Eficiente de Nuevas Vistas en Rayos X

Resumen

La radiografía se aplica ampliamente para la obtención de imágenes por transmisión debido a su mayor penetración en comparación con la luz natural. Al renderizar proyecciones de rayos X desde nuevas perspectivas, los métodos existentes basados principalmente en NeRF presentan tiempos de entrenamiento prolongados y velocidades de inferencia lentas. En este artículo, proponemos un marco basado en splatting de Gaussianas 3D, denominado X-Gaussian, para la síntesis de nuevas vistas en rayos X. En primer lugar, rediseñamos un modelo de nube de puntos Gaussianas radiativas inspirado en la naturaleza isotrópica de la imagen de rayos X. Nuestro modelo excluye la influencia de la dirección de la vista al aprender a predecir la intensidad de radiación de los puntos 3D. Basado en este modelo, desarrollamos una Rasterización Radiativa Diferenciable (DRR) con implementación en CUDA. En segundo lugar, personalizamos una estrategia de Inicialización Uniforme de Cuboide con Ángulo-Posición (ACUI) que utiliza directamente los parámetros del escáner de rayos X para calcular la información de la cámara y luego muestrea uniformemente las posiciones de los puntos dentro de un cuboide que engloba el objeto escaneado. Los experimentos muestran que nuestro X-Gaussian supera a los métodos más avanzados en 6.5 dB, mientras que disfruta de menos del 15% del tiempo de entrenamiento y más de 73 veces la velocidad de inferencia. La aplicación en la reconstrucción de tomografía computarizada de vistas dispersas también revela los valores prácticos de nuestro método. El código y los modelos estarán disponibles públicamente en https://github.com/caiyuanhao1998/X-Gaussian. Un video demostrativo de la visualización del proceso de entrenamiento está disponible en https://www.youtube.com/watch?v=gDVf_Ngeghg.

English

X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code and models will be publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .

Esplatado Gaussiano Radiativo para la Síntesis Eficiente de Nuevas Vistas en Rayos X

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

Resumen

Support