DA-Flow: Estimación de Flujo Óptico Consciente de la Degradación con Modelos de Difusión
DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models
March 24, 2026
Autores: Jaewon Min, Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim
cs.AI
Resumen
Los modelos de flujo óptico entrenados con datos de alta calidad suelen degradarse severamente al enfrentarse a corrupciones del mundo real como desenfoque, ruido y artefactos de compresión. Para superar esta limitación, formulamos el Flujo Óptico Consciente de la Degradación, una nueva tarea que busca estimar correspondencias densas precisas a partir de videos corruptos del mundo real. Nuestra idea clave es que las representaciones intermedias de los modelos de difusión para restauración de imágenes son inherentemente conscientes de la corrupción, pero carecen de conciencia temporal. Para abordar esta limitación, elevamos el modelo para que atienda a través de fotogramas adyacentes mediante atención espacio-temporal completa, y demostramos empíricamente que las características resultantes exhiben capacidades de correspondencia de cero disparos. Basándonos en este hallazgo, presentamos DA-Flow, una arquitectura híbrida que fusiona estas características de difusión con características convolucionales dentro de un marco de refinamiento iterativo. DA-Flow supera sustancialmente a los métodos existentes de flujo óptico bajo degradación severa en múltiples benchmarks.
English
Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.