DA-Flow: Stima del Flusso Ottico Consapevole della Degradazione con Modelli di Diffusione
DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models
March 24, 2026
Autori: Jaewon Min, Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim
cs.AI
Abstract
I modelli di flusso ottico addestrati su dati di alta qualità spesso si degradano severamente quando confrontati con corruzioni del mondo reale come sfocatura, rumore e artefatti di compressione. Per superare questa limitazione, formuliamo il Flusso Ottico Consapevole del Degrado (Degradation-Aware Optical Flow), un nuovo compito che mira a una stima accurata della corrispondenza densa da video corrotti del mondo reale. La nostra intuizione chiave è che le rappresentazioni intermedie dei modelli di diffusione per il restauro d'immagine sono intrinsecamente consapevoli della corruzione ma mancano di consapevolezza temporale. Per affrontare questa limitazione, eleviamo il modello per prestare attenzione attraverso frame adiacenti tramite attenzione spaziotemporale completa, e dimostriamo empiricamente che le caratteristiche risultanti mostrano capacità di corrispondenza zero-shot. Sulla base di questa scoperta, presentiamo DA-Flow, un'architettura ibrida che fonde queste caratteristiche di diffusione con caratteristiche convoluzionali all'interno di un framework di raffinamento iterativo. DA-Flow supera sostanzialmente i metodi di flusso ottico esistenti in condizioni di degrado severo su molteplici benchmark.
English
Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.