Difusão de Múltiplos Caminhos Modelada por Degradação para Fotografia de Metalentes Ajustáveis

Degradation-Modeled Multipath Diffusion for Tunable Metalens Photography

June 28, 2025

Autores: Jianing Zhang, Jiayi Zhu, Feiyu Ji, Xiaokang Yang, Xiaoyun Yuan

cs.AI

Resumo

As metalentes oferecem um potencial significativo para imagens computacionais ultracompactas, mas enfrentam desafios decorrentes de degradações ópticas complexas e dificuldades de restauração computacional. Os métodos existentes geralmente dependem de calibração óptica precisa ou de grandes conjuntos de dados pareados, o que não é trivial para sistemas de imagem do mundo real. Além disso, a falta de controle sobre o processo de inferência frequentemente resulta em artefatos indesejados de alucinação. Introduzimos o Degradation-Modeled Multipath Diffusion para fotografia com metalentes ajustáveis, aproveitando poderosos priors de imagens naturais de modelos pré-treinados em vez de grandes conjuntos de dados. Nosso framework utiliza caminhos de prompt positivo, neutro e negativo para equilibrar a geração de detalhes de alta frequência, a fidelidade estrutural e a supressão de degradações específicas das metalentes, juntamente com uma pseudo-aumentação de dados. Um decodificador ajustável permite compensações controladas entre fidelidade e qualidade perceptual. Adicionalmente, um módulo de atenção com consciência de degradação espacialmente variável (SVDA) modela adaptativamente degradações ópticas e induzidas por sensores complexas. Por fim, projetamos e construímos uma MetaCamera em escala milimétrica para validação no mundo real. Resultados extensivos mostram que nossa abordagem supera os métodos state-of-the-art, alcançando reconstruções de imagem de alta fidelidade e nitidez. Mais materiais: https://dmdiff.github.io/.

English

Metalenses offer significant potential for ultra-compact computational imaging but face challenges from complex optical degradation and computational restoration difficulties. Existing methods typically rely on precise optical calibration or massive paired datasets, which are non-trivial for real-world imaging systems. Furthermore, a lack of control over the inference process often results in undesirable hallucinated artifacts. We introduce Degradation-Modeled Multipath Diffusion for tunable metalens photography, leveraging powerful natural image priors from pretrained models instead of large datasets. Our framework uses positive, neutral, and negative-prompt paths to balance high-frequency detail generation, structural fidelity, and suppression of metalens-specific degradation, alongside pseudo data augmentation. A tunable decoder enables controlled trade-offs between fidelity and perceptual quality. Additionally, a spatially varying degradation-aware attention (SVDA) module adaptively models complex optical and sensor-induced degradation. Finally, we design and build a millimeter-scale MetaCamera for real-world validation. Extensive results show that our approach outperforms state-of-the-art methods, achieving high-fidelity and sharp image reconstruction. More materials: https://dmdiff.github.io/.