효율적인 X선 신시점 합성을 위한 방사형 가우시안 스플래팅

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

March 7, 2024

저자: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang, Xiaokang Yang, Zongwei Zhou, Alan Yuille

cs.AI

초록

X선은 자연광보다 강한 투과력을 가지고 있어 투과 이미징에 널리 활용되고 있습니다. 새로운 시점의 X선 투영을 렌더링할 때, 기존의 NeRF 기반 방법들은 긴 학습 시간과 느린 추론 속도라는 문제를 안고 있습니다. 본 논문에서는 X선 새로운 시점 합성을 위한 3D 가우시안 스플래팅 기반 프레임워크인 X-Gaussian을 제안합니다. 첫째, X선 이미징의 등방성 특성에서 영감을 받아 방사형 가우시안 포인트 클라우드 모델을 재설계했습니다. 우리의 모델은 3D 점들의 방사 강도를 예측할 때 시점 방향의 영향을 배제합니다. 이 모델을 기반으로 CUDA 구현을 통해 미분 가능한 방사형 래스터화(DRR)를 개발했습니다. 둘째, X선 스캐너의 파라미터를 직접 사용하여 카메라 정보를 계산한 후, 스캔 대상 물체를 둘러싸는 직육면체 내에서 점 위치를 균일하게 샘플링하는 각도-포즈 직육면체 균일 초기화(ACUI) 전략을 맞춤 설계했습니다. 실험 결과, 우리의 X-Gaussian은 최신 방법들보다 6.5 dB 우수한 성능을 보이면서도 15% 미만의 학습 시간과 73배 이상의 추론 속도를 자랑합니다. 희소 뷰 CT 재구성에 대한 응용 또한 우리 방법의 실용적 가치를 보여줍니다. 코드와 모델은 https://github.com/caiyuanhao1998/X-Gaussian에서 공개될 예정이며, 학습 과정 시각화 비디오 데모는 https://www.youtube.com/watch?v=gDVf_Ngeghg에서 확인할 수 있습니다.

English

X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code and models will be publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .