DA-Flow: Оценка оптического потока с учетом деградации на основе диффузионных моделей

DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models

March 24, 2026

Авторы: Jaewon Min, Jaeeun Lee, Yeji Choi, Paul Hyunbin Cho, Jin Hyeon Kim, Tae-Young Lee, Jongsik Ahn, Hwayeong Lee, Seonghyun Park, Seungryong Kim

cs.AI

Аннотация

Модели оптического потока, обученные на высококачественных данных, часто демонстрируют значительное ухудшение производительности при столкновении с реальными искажениями, такими как размытие, шум и артефакты сжатия. Чтобы преодолеть это ограничение, мы формулируем новую задачу — определение оптического потока с учетом деградации, направленную на точную оценку плотных соответствий в видео с реальными искажениями. Наше ключевое наблюдение заключается в том, что промежуточные представления диффузионных моделей восстановления изображений по своей природе учитывают искажения, но им не хватает временной осведомленности. Чтобы устранить этот недостаток, мы расширяем модель, обеспечивая ее способность учитывать соседние кадры с помощью полного пространственно-временного внимания, и эмпирически демонстрируем, что полученные признаки обладают возможностями определения соответствий "с нуля". Основываясь на этом открытии, мы представляем DA-Flow — гибридную архитектуру, которая объединяет эти диффузионные признаки со сверточными признаками в рамках итеративной схемы уточнения. DA-Flow значительно превосходит существующие методы оптического потока в условиях сильной деградации в нескольких тестовых наборах.

English

Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.