Strahlende Gauß'sche Splatting für effiziente Röntgen-Novel-View-Synthese

Zusammenfassung

Röntgenstrahlen werden aufgrund ihrer stärkeren Durchdringung als natürliches Licht weit verbreitet für die Transmissionsbildgebung eingesetzt. Bei der Darstellung von neuartigen Ansichten von Röntgenprojektionen basieren bestehende Methoden hauptsächlich auf NeRF und leiden unter langen Trainingszeiten und langsamer Inferenzgeschwindigkeit. In diesem Artikel schlagen wir ein auf 3D-Gaußscher Splatting basierendes Framework namens X-Gaussian für die Synthese neuer Ansichten von Röntgenstrahlen vor. Zunächst gestalten wir ein strahlendes Gaußsches Punktwolkenmodell um, inspiriert von der isotropen Natur der Röntgenbildgebung. Unser Modell schließt den Einfluss der Blickrichtung aus, wenn es lernt, die Strahlungsintensität von 3D-Punkten vorherzusagen. Basierend auf diesem Modell entwickeln wir eine differentiell strahlende Rasterisierung (DRR) mit CUDA-Implementierung. Zweitens passen wir eine Winkel-Pose-Würfel-Gleichmäßigkeitsinitialisierungsstrategie an, die direkt die Parameter des Röntgenscanners verwendet, um die Kamerainformationen zu berechnen und dann Punktpositionen gleichmäßig innerhalb eines Würfels abzutasten, der das gescannte Objekt umschließt. Experimente zeigen, dass unser X-Gaussian die Methoden der Spitzenklasse um 6,5 dB übertrifft und dabei weniger als 15 % Trainingszeit und über 73-fache Inferenzgeschwindigkeit bietet. Die Anwendung auf die Rekonstruktion von CT-Aufnahmen mit dünn besetzten Ansichten zeigt auch den praktischen Wert unserer Methode. Der Code und die Modelle werden öffentlich verfügbar sein unter https://github.com/caiyuanhao1998/X-Gaussian. Ein Video-Demo der Visualisierung des Schulungsprozesses ist unter https://www.youtube.com/watch?v=gDVf_Ngeghg verfügbar.

English

X-ray is widely applied for transmission imaging due to its stronger penetration than natural light. When rendering novel view X-ray projections, existing methods mainly based on NeRF suffer from long training time and slow inference speed. In this paper, we propose a 3D Gaussian splatting-based framework, namely X-Gaussian, for X-ray novel view synthesis. Firstly, we redesign a radiative Gaussian point cloud model inspired by the isotropic nature of X-ray imaging. Our model excludes the influence of view direction when learning to predict the radiation intensity of 3D points. Based on this model, we develop a Differentiable Radiative Rasterization (DRR) with CUDA implementation. Secondly, we customize an Angle-pose Cuboid Uniform Initialization (ACUI) strategy that directly uses the parameters of the X-ray scanner to compute the camera information and then uniformly samples point positions within a cuboid enclosing the scanned object. Experiments show that our X-Gaussian outperforms state-of-the-art methods by 6.5 dB while enjoying less than 15% training time and over 73x inference speed. The application on sparse-view CT reconstruction also reveals the practical values of our method. Code and models will be publicly available at https://github.com/caiyuanhao1998/X-Gaussian . A video demo of the training process visualization is at https://www.youtube.com/watch?v=gDVf_Ngeghg .

Strahlende Gauß'sche Splatting für effiziente Röntgen-Novel-View-Synthese

Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis

Zusammenfassung

Support