DA-Flow : Estimation du flux optique sensible à la dégradation avec les modèles de diffusion

DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models

March 24, 2026

Auteurs: Jaewon Min, Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim

cs.AI

Résumé

Les modèles de flux optique entraînés sur des données de haute qualité subissent souvent une dégradation sévère lorsqu'ils sont confrontés à des altérations du monde réel telles que le flou, le bruit et les artefacts de compression. Pour surmonter cette limitation, nous formulons le Flux Optique Conscient de la Dégradation, une nouvelle tâche visant l'estimation précise de la correspondance dense à partir de vidéos dégradées du monde réel. Notre idée clé est que les représentations intermédiaires des modèles de diffusion de restauration d'image sont intrinsèquement conscientes des altérations mais manquent de conscience temporelle. Pour remédier à cette limitation, nous élevons le modèle pour qu'il puisse traiter plusieurs trames adjacentes via une attention spatio-temporelle complète, et démontrons empiriquement que les caractéristiques résultantes présentent des capacités de correspondance zero-shot. Sur la base de cette découverte, nous présentons DA-Flow, une architecture hybride qui fusionne ces caractéristiques de diffusion avec des caractéristiques convolutionnelles dans un cadre de raffinement itératif. DA-Flow surpasse substantiellement les méthodes de flux optique existantes sous dégradation sévère sur plusieurs benchmarks.

English

Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.