U-TTT: 테스트 시간 훈련을 통한 일반화 가능한 PET 영상 잡음 제거를 향하여

초록

기존의 PET(Positron Emission Tomography) 영상 잡음 제거를 위한 딥러닝 모델은 분포 변화(distribution shift)가 발생할 경우 심각한 성능 저하를 겪는 경우가 많아, 이는 근본적으로 강건한 임상 배치를 제한한다. 이러한 일반화 부족은 훈련 후 테스트 데이터(예: 선량 수준 또는 스캐너 유형)의 변화에 적응할 수 없는 고정 매개변수 모델이라는 기존 패러다임에서 비롯된다. 이러한 한계를 극복하고 강건한 일반화를 달성하기 위해, 우리는 U-TTT를 제안한다. 이는 자기 지도 학습(self-supervision)을 통해 추론 중에 모델 매개변수를 동적으로 조정하여 각 테스트 인스턴스의 특정 특성에 적응하는 TTT(Test-Time Training) 계층을 통합한 새로운 U자형 모델이다. 또한, 3D PET 데이터의 복잡한 열화를 포괄적으로 포착하기 위해 U-TTT는 공간 테스트 시간 훈련(S-TTT) 계층과 주파수 테스트 시간 훈련(F-TTT) 계층으로 구성된 이중 도메인 적응 메커니즘(dual-domain adaptation mechanism)을 특징으로 한다. S-TTT 계층은 공간 구조적 열화를 포착하고 보정하는 반면, F-TTT 계층은 전역 잡음 스펙트럼을 억제하고 미세한 고주파 세부 정보를 복원한다. 광범위한 실험을 통해 U-TTT는 최첨단 PET 잡음 제거 성능을 달성하며, 보지 못한 선량 수준과 보지 못한 스캐너를 포함한 까다로운 분포 변화 하에서 뛰어난 일반화 성능을 보여준다. 코드는 https://github.com/Yaziwel/U-TTT에서 제공될 예정이다.

English

Existing deep learning models for Positron Emission Tomography (PET) image denoising often suffer from severe performance degradation under distribution shifts, fundamentally restricting their robust clinical deployment. This lack of generalization stems from the conventional paradigm of fixed-parameter models that cannot adapt to variations in test data (e.g., dose levels or scanner types) after training. To overcome this limitation and achieve robust generalization, we introduce U-TTT, a novel U-shaped model that integrates Test-Time Training (TTT) layers to dynamically adjust model parameters during inference through self-supervision, thereby adapting to the specific characteristics of each test instance. Furthermore, to comprehensively capture the complex degradations of 3D PET data, U-TTT features a dual-domain adaptation mechanism comprising a Spatial Test-Time Training (S-TTT) layer and a Frequency Test-Time Training (F-TTT) layer. The S-TTT layer captures and corrects spatial structural degradations, while the F-TTT layer suppresses global noise spectra and restores delicate high-frequency details. Extensive experiments demonstrate that U-TTT achieves state-of-the-art PET denoising performance and exhibits superior generalization under challenging distribution shifts, including both unseen dose levels and unseen scanners. Our code will be available at https://github.com/Yaziwel/U-TTT.