Радиационное гауссово сплетение для эффективного синтеза нового изображения под различными углами при помощи рентгеновских лучей.

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

March 7, 2024

Авторы: Yuanhao Cai, Yixun Liang, Jiahao Wang, Angtian Wang, Yulun Zhang, Xiaokang Yang, Zongwei Zhou, Alan Yuille

cs.AI

Аннотация

Рентген широко применяется для трансмиссионного изображения из-за большей проникающей способности по сравнению с естественным светом. При визуализации новых видов проекций рентгеновских лучей существующие методы, в основном основанные на NeRF, сталкиваются с длительным временем обучения и медленной скоростью вывода. В данной статье мы предлагаем 3D-основанную структуру на основе гауссовского сплетения, названную X-Gaussian, для синтеза нового вида рентгеновских изображений. Во-первых, мы перерабатываем радиативную модель гауссовских точек, вдохновленную изотропной природой рентгеновской томографии. Наша модель исключает влияние направления обзора при обучении предсказывать интенсивность излучения 3D-точек. На основе этой модели мы разрабатываем дифференцируемую радиативную растеризацию (DRR) с реализацией на CUDA. Во-вторых, мы настраиваем стратегию инициализации углового положения кубоида (ACUI), которая непосредственно использует параметры рентгеновского сканера для вычисления информации о камере, а затем равномерно выбирает позиции точек внутри кубоида, охватывающего сканируемый объект. Эксперименты показывают, что наш X-Gaussian превосходит современные методы на 6.5 дБ, при этом требуя менее 15% времени обучения и обеспечивая более чем в 73 раза большую скорость вывода. Применение на реконструкцию CT с разреженным обзором также показывает практическую ценность нашего метода. Код и модели будут общедоступны на https://github.com/caiyuanhao1998/X-Gaussian . Видео демонстрации процесса обучения доступно по ссылке https://www.youtube.com/watch?v=gDVf_Ngeghg .

English

X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code and models will be publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .