DA-Flow: 확산 모델 기반 열화 인식 광류 추정

초록

고품질 데이터로 훈련된 광학 흐름 모델은 흐림, 노이즈, 압축 아티팩트와 같은 실제 손상에 직면하면 성능이 심각하게 저하되는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 실제 손상된 비디오에서 정확한 조밀 대응 추정을 목표로 하는 새로운 과제인 '손상 인식 광학 흐름'을 정립합니다. 우리의 핵심 통찰은 이미지 복원 확산 모델의 중간 표현이 본질적으로 손상 인식 능력을 갖추고 있지만 시간적 인식 능력은 부족하다는 점입니다. 이 한계를 해결하기 위해 우리는 모델을 전체 시공간 주의 메커니즘을 통해 인접 프레임 간 주의를 기울이도록 확장하였으며, 그 결과 생성된 특징이 제로샷 대응 능력을 보인다는 것을 실증적으로 입증했습니다. 이러한 발견을 바탕으로, 우리는 반복 정교화 프레임워크 내에서 이러한 확산 특징과 컨볼루션 특징을 융합하는 하이브리드 아키텍처인 DA-Flow를 제시합니다. DA-Flow는 여러 벤치마크에서 심각한 열화 조건 하에서 기존 광학 흐름 방법들을 크게 능가하는 성능을 보여줍니다.

English

Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.

DA-Flow: 확산 모델 기반 열화 인식 광류 추정

DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models

초록

Support