Degradatie-gemodelleerde meervoudige diffusie voor instelbare metalensfotografie

Degradation-Modeled Multipath Diffusion for Tunable Metalens Photography

June 28, 2025

Auteurs: Jianing Zhang, Jiayi Zhu, Feiyu Ji, Xiaokang Yang, Xiaoyun Yuan

cs.AI

Samenvatting

Metalenzen bieden aanzienlijk potentieel voor ultra-compacte computationele beeldvorming, maar worden geconfronteerd met uitdagingen door complexe optische degradatie en moeilijkheden bij computationele restauratie. Bestaande methoden zijn doorgaans afhankelijk van nauwkeurige optische kalibratie of enorme gepaarde datasets, wat niet triviaal is voor beeldvormingssystemen in de echte wereld. Bovendien resulteert een gebrek aan controle over het inferentieproces vaak in ongewenste hallucinatie-artefacten. Wij introduceren Degradation-Modeled Multipath Diffusion voor afstembare metalensfotografie, waarbij krachtige natuurlijke beeldprioriteiten van vooraf getrainde modellen worden benut in plaats van grote datasets. Ons framework gebruikt positieve, neutrale en negatieve-prompt-paden om de generatie van hoogfrequente details, structurele trouw en onderdrukking van metalens-specifieke degradatie in balans te brengen, naast pseudo-data-augmentatie. Een afstembare decoder maakt gecontroleerde afwegingen mogelijk tussen trouw en perceptuele kwaliteit. Daarnaast modelleert een ruimtelijk variërend degradatiebewust aandacht (SVDA) module adaptief complexe optische en sensor-geïnduceerde degradatie. Tot slot ontwerpen en bouwen we een millimeter-schaal MetaCamera voor validatie in de echte wereld. Uitgebreide resultaten tonen aan dat onze aanpak state-of-the-art methoden overtreft, met hoogwaardige en scherpe beeldreconstructie. Meer materialen: https://dmdiff.github.io/.

English

Metalenses offer significant potential for ultra-compact computational imaging but face challenges from complex optical degradation and computational restoration difficulties. Existing methods typically rely on precise optical calibration or massive paired datasets, which are non-trivial for real-world imaging systems. Furthermore, a lack of control over the inference process often results in undesirable hallucinated artifacts. We introduce Degradation-Modeled Multipath Diffusion for tunable metalens photography, leveraging powerful natural image priors from pretrained models instead of large datasets. Our framework uses positive, neutral, and negative-prompt paths to balance high-frequency detail generation, structural fidelity, and suppression of metalens-specific degradation, alongside pseudo data augmentation. A tunable decoder enables controlled trade-offs between fidelity and perceptual quality. Additionally, a spatially varying degradation-aware attention (SVDA) module adaptively models complex optical and sensor-induced degradation. Finally, we design and build a millimeter-scale MetaCamera for real-world validation. Extensive results show that our approach outperforms state-of-the-art methods, achieving high-fidelity and sharp image reconstruction. More materials: https://dmdiff.github.io/.