DA-Flow: Degradatiebewuste optische stroomschatting met diffusiemodellen
DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models
March 24, 2026
Auteurs: Jaewon Min, Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim
cs.AI
Samenvatting
Optical flow-modellen die zijn getraind op hoogwaardige data, vertonen vaak een sterke prestatievermindering wanneer ze worden geconfronteerd met real-world corrupties zoals vervaging, ruis en compressie-artefacten. Om deze beperking te overwinnen, formuleren wij Degradation-Aware Optical Flow, een nieuwe taak die gericht is op nauwkeurige schatting van dichte correspondentie vanuit real-world gecorrumpeerde video's. Onze belangrijkste bevinding is dat de tussenliggende representaties van diffusiemodellen voor beeldrestauratie inherent corruptie-bewust zijn, maar tijdsbewustzijn ontbreekt. Om deze beperking aan te pakken, breiden we het model uit om aandacht te besteden aan aangrenzende frames via volledige spatio-temporele aandacht, en tonen we empirisch aan dat de resulterende features zero-shot correspondentiecapaciteiten vertonen. Gebaseerd op deze bevinding presenteren we DA-Flow, een hybride architectuur die deze diffusie-features fuseert met convolutionele features binnen een iteratief verfijningsraamwerk. DA-Flow presteert aanzienlijk beter dan bestaande optical flow-methoden onder ernstige degradatie in meerdere benchmarks.
English
Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.