확산 트랜스포머의 효율적 적응을 통한 반사 제거

초록

단일 이미지 반사 제거를 위한 diffusion-transformer(DiT) 프레임워크를 소개한다. 본 접근법은 복원 작업에서 기초 diffusion 모델의 일반화 능력을 활용한다. 과제 특화 아키텍처에 의존하기보다, 사전 학습된 DiT 기반 기초 모델을 반사 오염 입력을 조건으로 하여 깨끗한 투과 층을 복원하도록 재구성한다. 기존 반사 제거 데이터 소스를 다양성, 확장성, 사실성 측면에서 체계적으로 분석하였으며, 적합한 데이터 부족 문제를 해결하기 위해 Blender에서 Principled BSDF를 기반으로 한 물리 기반 렌더링(PBR) 파이프라인을 구축하여 사실적인 유리 재질과 반사 효과를 합성하였다. 제안된 합성 데이터와 효율적인 LoRA 기반 기초 모델 적응을 결합하면 도메인 내 및 제로샷 벤치마크에서 최첨단 성능을 달성한다. 이러한 결과는 사전 학습된 diffusion transformer가 물리 기반 데이터 합성 및 효율적 적응과 결합될 때, 확장 가능하고 고품질의 반사 제거 솔루션을 제공함을 입증한다. 프로젝트 페이지: https://hf.co/spaces/huawei-bayerlab/windowseat-reflection-removal-web

English

We introduce a diffusion-transformer (DiT) framework for single-image reflection removal that leverages the generalization strengths of foundation diffusion models in the restoration setting. Rather than relying on task-specific architectures, we repurpose a pre-trained DiT-based foundation model by conditioning it on reflection-contaminated inputs and guiding it toward clean transmission layers. We systematically analyze existing reflection removal data sources for diversity, scalability, and photorealism. To address the shortage of suitable data, we construct a physically based rendering (PBR) pipeline in Blender, built around the Principled BSDF, to synthesize realistic glass materials and reflection effects. Efficient LoRA-based adaptation of the foundation model, combined with the proposed synthetic data, achieves state-of-the-art performance on in-domain and zero-shot benchmarks. These results demonstrate that pretrained diffusion transformers, when paired with physically grounded data synthesis and efficient adaptation, offer a scalable and high-fidelity solution for reflection removal. Project page: https://hf.co/spaces/huawei-bayerlab/windowseat-reflection-removal-web

확산 트랜스포머의 효율적 적응을 통한 반사 제거

Reflection Removal through Efficient Adaptation of Diffusion Transformers

초록

Support