Reflectieverwijdering door efficiënte aanpassing van diffusion transformers
Reflection Removal through Efficient Adaptation of Diffusion Transformers
December 4, 2025
Auteurs: Daniyar Zakarin, Thiemo Wandel, Anton Obukhov, Dengxin Dai
cs.AI
Samenvatting
Wij introduceren een diffusie-transformer (DiT) raamwerk voor het verwijderen van reflecties uit enkele afbeeldingen, dat gebruikmaakt van de generalisatiekracht van foundation diffusiemodellen in een restauratiecontext. In plaats van te vertrouwen op taakspecifieke architecturen, hergebruiken we een vooraf getraind DiT-gebaseerd foundation model door het te conditioneren op reflectie-verontreinigde invoer en het te leiden naar schone transmissielagen. Wij analyseren systematisch bestaande databronnen voor reflectieverwijdering op diversiteit, schaalbaarheid en fotorealisme. Om het gebrek aan geschikte data aan te pakken, bouwen we een op fysica gebaseerde rendering (PBR) pijplijn in Blender, gebouwd rond de Principled BSDF, om realistische glasmaterialen en reflectie-effecten te synthetiseren. Efficiënte LoRA-gebaseerde aanpassing van het foundation model, gecombineerd met de voorgestelde synthetische data, behaalt state-of-the-art prestaties op in-domein en zero-shot benchmarks. Deze resultaten tonen aan dat vooraf getrainde diffusie-transformers, in combinatie met fysiek onderbouwde datasynthese en efficiënte aanpassing, een schaalbare en hoogwaardige oplossing bieden voor reflectieverwijdering. Projectpagina: https://hf.co/spaces/huawei-bayerlab/windowseat-reflection-removal-web
English
We introduce a diffusion-transformer (DiT) framework for single-image reflection removal that leverages the generalization strengths of foundation diffusion models in the restoration setting. Rather than relying on task-specific architectures, we repurpose a pre-trained DiT-based foundation model by conditioning it on reflection-contaminated inputs and guiding it toward clean transmission layers. We systematically analyze existing reflection removal data sources for diversity, scalability, and photorealism. To address the shortage of suitable data, we construct a physically based rendering (PBR) pipeline in Blender, built around the Principled BSDF, to synthesize realistic glass materials and reflection effects. Efficient LoRA-based adaptation of the foundation model, combined with the proposed synthetic data, achieves state-of-the-art performance on in-domain and zero-shot benchmarks. These results demonstrate that pretrained diffusion transformers, when paired with physically grounded data synthesis and efficient adaptation, offer a scalable and high-fidelity solution for reflection removal. Project page: https://hf.co/spaces/huawei-bayerlab/windowseat-reflection-removal-web