LightsOut: 렌즈 플레어 제거 강화를 위한 확산 기반 아웃페인팅 기술

초록

렌즈 플레어는 이미지 품질을 크게 저하시켜 물체 감지 및 자율 주행과 같은 중요한 컴퓨터 비전 작업에 영향을 미칩니다. 최근의 단일 이미지 플레어 제거(SIFR) 방법은 프레임 외부 광원이 불완전하거나 없는 경우 성능이 저하됩니다. 본 연구에서는 SIFR을 강화하기 위해 프레임 외부 광원을 재구성하는 확산 기반 아웃페인팅 프레임워크인 LightsOut를 제안합니다. 우리의 방법은 다중 작업 회귀 모듈과 LoRA 미세 조정 확산 모델을 활용하여 현실적이고 물리적으로 일관된 아웃페인팅 결과를 보장합니다. 포괄적인 실험을 통해 LightsOut가 추가 재학습 없이도 기존 SIFR 방법의 성능을 다양한 도전적인 시나리오에서 일관되게 향상시키며, 범용적으로 적용 가능한 플러그 앤 플레이 전처리 솔루션으로서의 역할을 입증합니다. 프로젝트 페이지: https://ray-1026.github.io/lightsout/

English

Lens flare significantly degrades image quality, impacting critical computer vision tasks like object detection and autonomous driving. Recent Single Image Flare Removal (SIFR) methods perform poorly when off-frame light sources are incomplete or absent. We propose LightsOut, a diffusion-based outpainting framework tailored to enhance SIFR by reconstructing off-frame light sources. Our method leverages a multitask regression module and LoRA fine-tuned diffusion model to ensure realistic and physically consistent outpainting results. Comprehensive experiments demonstrate LightsOut consistently boosts the performance of existing SIFR methods across challenging scenarios without additional retraining, serving as a universally applicable plug-and-play preprocessing solution. Project page: https://ray-1026.github.io/lightsout/

LightsOut: 렌즈 플레어 제거 강화를 위한 확산 기반 아웃페인팅 기술

LightsOut: Diffusion-based Outpainting for Enhanced Lens Flare Removal

초록

Support