LightsOut：拡散モデルに基づくアウトペインティングによるレンズフレア除去の強化

要旨

レンズフレアは画像品質を著しく低下させ、物体検出や自動運転といった重要なコンピュータビジョンタスクに影響を及ぼします。最近の単一画像フレア除去（SIFR）手法は、フレーム外の光源が不完全または存在しない場合に性能が低下します。本研究では、SIFRを強化するために、フレーム外光源を再構築する拡散ベースのアウトペインティングフレームワーク「LightsOut」を提案します。本手法は、マルチタスク回帰モジュールとLoRAファインチューニングされた拡散モデルを活用し、現実的かつ物理的に整合性のあるアウトペインティング結果を保証します。包括的な実験により、LightsOutが既存のSIFR手法の性能を挑戦的なシナリオにおいて一貫して向上させ、追加の再トレーニングなしで汎用的に適用可能なプラグアンドプレイの前処理ソリューションとして機能することが実証されました。プロジェクトページ: https://ray-1026.github.io/lightsout/

English

Lens flare significantly degrades image quality, impacting critical computer vision tasks like object detection and autonomous driving. Recent Single Image Flare Removal (SIFR) methods perform poorly when off-frame light sources are incomplete or absent. We propose LightsOut, a diffusion-based outpainting framework tailored to enhance SIFR by reconstructing off-frame light sources. Our method leverages a multitask regression module and LoRA fine-tuned diffusion model to ensure realistic and physically consistent outpainting results. Comprehensive experiments demonstrate LightsOut consistently boosts the performance of existing SIFR methods across challenging scenarios without additional retraining, serving as a universally applicable plug-and-play preprocessing solution. Project page: https://ray-1026.github.io/lightsout/

LightsOut：拡散モデルに基づくアウトペインティングによるレンズフレア除去の強化

LightsOut: Diffusion-based Outpainting for Enhanced Lens Flare Removal

要旨

Support