DA-Flow: Estimação de Fluxo Óptico Consciente da Degradação com Modelos de Difusão
DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models
March 24, 2026
Autores: Jaewon Min, Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim
cs.AI
Resumo
Os modelos de fluxo óptico treinados em dados de alta qualidade frequentemente degradam-se severamente ao confrontar corrupções do mundo real, como desfoque, ruído e artefatos de compressão. Para superar esta limitação, formulamos o Fluxo Óptico Consciente da Degradação, uma nova tarefa que visa a estimativa precisa de correspondência densa a partir de vídeos corrompidos do mundo real. Nossa principal percepção é que as representações intermediárias dos modelos de difusão para restauração de imagem são inerentemente conscientes da corrupção, mas carecem de consciência temporal. Para resolver esta limitação, elevamos o modelo para atender a quadros adjacentes via atenção espaço-temporal completa, e demonstramos empiricamente que as características resultantes exibem capacidades de correspondência de disparo zero. Com base nesta descoberta, apresentamos o DA-Flow, uma arquitetura híbrida que funde estas características de difusão com características convolucionais dentro de uma estrutura de refinamento iterativo. O DA-Flow supera substancialmente os métodos de fluxo óptico existentes sob degradação severa em múltiplos benchmarks.
English
Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.