Gaussian Splatting Radiativo para Síntese Eficiente de Novas Visualizações em Raios-X

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

March 7, 2024

Autores: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang, Xiaokang Yang, Zongwei Zhou, Alan Yuille

cs.AI

Resumo

O raio X é amplamente utilizado para imagens de transmissão devido à sua maior penetração em comparação com a luz natural. Ao renderizar projeções de raio X em novas perspectivas, os métodos existentes baseados principalmente em NeRF sofrem com tempos de treinamento longos e velocidade de inferência lenta. Neste artigo, propomos uma estrutura baseada em splatting de Gaussianas 3D, denominada X-Gaussian, para a síntese de novas perspectivas de raio X. Primeiramente, redesenhamos um modelo de nuvem de pontos Gaussianos radiativos inspirado na natureza isotrópica da imagem de raio X. Nosso modelo exclui a influência da direção da visão ao aprender a prever a intensidade de radiação dos pontos 3D. Com base nesse modelo, desenvolvemos uma Rasterização Radiativa Diferenciável (DRR) com implementação em CUDA. Em segundo lugar, personalizamos uma estratégia de Inicialização Uniforme de Cuboide com Ângulo e Pose (ACUI) que utiliza diretamente os parâmetros do scanner de raio X para calcular as informações da câmera e, em seguida, amostra uniformemente as posições dos pontos dentro de um cuboide que envolve o objeto escaneado. Os experimentos mostram que nosso X-Gaussian supera os métodos state-of-the-art em 6,5 dB, enquanto desfruta de menos de 15% do tempo de treinamento e mais de 73x na velocidade de inferência. A aplicação na reconstrução de TC com visão esparsa também revela os valores práticos do nosso método. O código e os modelos estarão publicamente disponíveis em https://github.com/caiyuanhao1998/X-Gaussian. Um vídeo demonstrativo da visualização do processo de treinamento está disponível em https://www.youtube.com/watch?v=gDVf_Ngeghg.

English

X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code and models will be publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .