DiffNR: 희소 뷰 3D 단층 촬영 재구성을 위한 확산 기반 신경 표현 최적화

초록

신경망 표현(Neural Representations, NRs)인 신경망 장(neural fields) 및 3D 가우시안(3D Gaussians)은 컴퓨터 단층촬영(CT)의 체적 데이터를 효과적으로 모델링하지만 희소 관측(sparse-view) 환경에서는 심각한 아티팩트가 발생합니다. 이를 해결하기 위해 우리는 확산 프라이어(diffusion priors)를 활용하여 NR 최적화를 향상시키는 새로운 프레임워크인 DiffNR을 제안합니다. 그 핵심에는 저하된 슬라이스 내 아티팩트를 보정하도록 설계된 단일 단계 확산 모델인 SliceFixer가 있습니다. 우리는 모델 미세 조정을 지원하기 위해 네트워크에 특화된 조건화 계층을 통합하고 맞춤형 데이터 큐레이션 전략을 개발했습니다. 재구성 과정에서 SliceFixer는 주기적으로 의사 참조 체적(pseudo-reference volumes)을 생성하여 제약이 충분하지 않은 영역을 수정하기 위한 보조 3D 지각 감독(perceptual supervision)을 제공합니다. CT 솔버를 시간 소모적인 반복적 노이즈 제거 과정에 내재시킨 기존 방법과 비교하여, 우리의 수정 및 증강(repair-and-augment) 전략은 빈번한 확산 모델 쿼리를 피함으로써 더 나은 런타임 성능을 달성합니다. 폭넓은 실험을 통해 DiffNR이 평균 PSNR을 3.99dB 향상시키며, 다양한 도메인에서 우수한 일반화 성능을 보이고 효율적인 최적화를 유지함을 입증했습니다.

English

Neural representations (NRs), such as neural fields and 3D Gaussians, effectively model volumetric data in computed tomography (CT) but suffer from severe artifacts under sparse-view settings. To address this, we propose DiffNR, a novel framework that enhances NR optimization with diffusion priors. At its core is SliceFixer, a single-step diffusion model designed to correct artifacts in degraded slices. We integrate specialized conditioning layers into the network and develop tailored data curation strategies to support model finetuning. During reconstruction, SliceFixer periodically generates pseudo-reference volumes, providing auxiliary 3D perceptual supervision to fix underconstrained regions. Compared to prior methods that embed CT solvers into time-consuming iterative denoising, our repair-and-augment strategy avoids frequent diffusion model queries, leading to better runtime performance. Extensive experiments show that DiffNR improves PSNR by 3.99 dB on average, generalizes well across domains, and maintains efficient optimization.

DiffNR: 희소 뷰 3D 단층 촬영 재구성을 위한 확산 기반 신경 표현 최적화

DiffNR: Diffusion-Enhanced Neural Representation Optimization for Sparse-View 3D Tomographic Reconstruction

초록

Support