조절 가능한 메타렌즈 사진을 위한 분해 모델 기반 다중경로 확산

Degradation-Modeled Multipath Diffusion for Tunable Metalens Photography

June 28, 2025

저자: Jianing Zhang, Jiayi Zhu, Feiyu Ji, Xiaokang Yang, Xiaoyun Yuan

cs.AI

초록

메타렌즈는 초소형 계산 이미징에 상당한 잠재력을 제공하지만, 복잡한 광학적 열화와 계산 복원의 어려움으로 인해 도전에 직면해 있습니다. 기존 방법들은 일반적으로 정밀한 광학 보정 또는 대규모의 짝지어진 데이터셋에 의존하는데, 이는 실제 이미징 시스템에서는 간단하지 않은 문제입니다. 더욱이, 추론 과정에 대한 통제 부족은 종종 바람직하지 않은 허구적 아티팩트를 초래합니다. 우리는 대규모 데이터셋 대신 사전 훈련된 모델에서 얻은 강력한 자연 이미지 사전 지식을 활용하여 조정 가능한 메타렌즈 사진 촬영을 위한 Degradation-Modeled Multipath Diffusion을 소개합니다. 우리의 프레임워크는 고주파 디테일 생성, 구조적 충실도, 그리고 메타렌즈 특유의 열화 억제를 균형 있게 조절하기 위해 긍정적, 중립적, 부정적 프롬프트 경로를 사용하며, 가상 데이터 증강도 함께 활용합니다. 조정 가능한 디코더는 충실도와 지각적 품질 사이의 균형을 조절할 수 있게 해줍니다. 또한, 공간적으로 변화하는 열화 인지 주의(SVDA) 모듈은 복잡한 광학적 및 센서 유발 열화를 적응적으로 모델링합니다. 마지막으로, 우리는 실제 검증을 위해 밀리미터 규모의 MetaCamera를 설계하고 제작했습니다. 광범위한 결과는 우리의 접근 방식이 최신 기술을 능가하며, 고충실도와 선명한 이미지 재구성을 달성함을 보여줍니다. 추가 자료는 https://dmdiff.github.io/에서 확인할 수 있습니다.

English

Metalenses offer significant potential for ultra-compact computational imaging but face challenges from complex optical degradation and computational restoration difficulties. Existing methods typically rely on precise optical calibration or massive paired datasets, which are non-trivial for real-world imaging systems. Furthermore, a lack of control over the inference process often results in undesirable hallucinated artifacts. We introduce Degradation-Modeled Multipath Diffusion for tunable metalens photography, leveraging powerful natural image priors from pretrained models instead of large datasets. Our framework uses positive, neutral, and negative-prompt paths to balance high-frequency detail generation, structural fidelity, and suppression of metalens-specific degradation, alongside pseudo data augmentation. A tunable decoder enables controlled trade-offs between fidelity and perceptual quality. Additionally, a spatially varying degradation-aware attention (SVDA) module adaptively models complex optical and sensor-induced degradation. Finally, we design and build a millimeter-scale MetaCamera for real-world validation. Extensive results show that our approach outperforms state-of-the-art methods, achieving high-fidelity and sharp image reconstruction. More materials: https://dmdiff.github.io/.