DA-Flow: 拡散モデルによる劣化を考慮したオプティカルフロー推定

要旨

高品質なデータで学習されたオプティカルフローモデルは、ブラー、ノイズ、圧縮アーティファクトなどの実世界の劣化に直面すると、性能が大幅に低下することが多い。この課題を克服するため、我々は実世界の劣化を含む映像から正確な密な対応点推定を目指す新たなタスク「劣化対応型オプティカルフロー（Degradation-Aware Optical Flow）」を定式化する。鍵となる洞察は、画像復元拡散モデルの中間表現が本質的に劣化情報を認識しているが、時間的認識を欠いている点である。この制約を解決するため、我々はモデルを時空間的全注意機構によって隣接フレーム間の関係を捉えるように拡張し、その結果得られる特徴量がゼロショット対応点推定能力を示すことを実証的に明らかにした。この発見に基づき、拡散特徴量と畳み込み特徴量を反復精緻化フレームワーク内で融合するハイブリッドアーキテクチャDA-Flowを提案する。DA-Flowは、複数のベンチマークにおいて深刻な劣化条件下で既存のオプティカルフロー手法を大幅に上回る性能を示す。

English

Optical flow models trained on high-quality data often degrade severely when confronted with real-world corruptions such as blur, noise, and compression artifacts. To overcome this limitation, we formulate Degradation-Aware Optical Flow, a new task targeting accurate dense correspondence estimation from real-world corrupted videos. Our key insight is that the intermediate representations of image restoration diffusion models are inherently corruption-aware but lack temporal awareness. To address this limitation, we lift the model to attend across adjacent frames via full spatio-temporal attention, and empirically demonstrate that the resulting features exhibit zero-shot correspondence capabilities. Based on this finding, we present DA-Flow, a hybrid architecture that fuses these diffusion features with convolutional features within an iterative refinement framework. DA-Flow substantially outperforms existing optical flow methods under severe degradation across multiple benchmarks.

DA-Flow: 拡散モデルによる劣化を考慮したオプティカルフロー推定

DA-Flow: Degradation-Aware Optical Flow Estimation with Diffusion Models

要旨

Support