DA-Flow: Degradationsbewusste optische Flussbestimmung mit Diffusionsmodellen
DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models
March 24, 2026
Autoren: Jaewon Min, Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim
cs.AI
Zusammenfassung
Optische Flussmodelle, die mit hochwertigen Daten trainiert wurden, verschlechtern sich oft erheblich, wenn sie mit realen Störungen wie Unschärfe, Rauschen und Kompressionsartefakten konfrontiert werden. Um diese Einschränkung zu überwinden, formulieren wir Degradation-Aware Optical Flow, eine neue Aufgabe, die auf die genaue Schätzung dichter Korrespondenzen aus realen, beeinträchtigten Videos abzielt. Unsere zentrale Erkenntnis ist, dass die Zwischenrepräsentationen von Diffusionsmodellen zur Bildrestaurierung inhärent störungsbewusst sind, jedoch kein zeitliches Bewusstsein besitzen. Um diese Einschränkung zu adressieren, erweitern wir das Modell so, dass es über benachbarte Frames hinweg mittels vollständiger raumzeitlicher Aufmerksamkeit agieren kann, und zeigen empirisch, dass die resultierenden Merkmale Zero-Shot-Korrespondenzfähigkeiten aufweisen. Basierend auf dieser Erkenntnis präsentieren wir DA-Flow, eine hybride Architektur, die diese Diffusionsmerkmale mit konvolutionellen Merkmalen innerhalb eines iterativen Verfeinerungsrahmens fusioniert. DA-Flow übertrifft bestehende Methoden zur Bestimmung des optischen Flusses unter starken Verschlechterungen in mehreren Benchmarks erheblich.
English
Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.