Fast-FoundationStereo：リアルタイムゼロショットステレオマッチング

Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching

December 11, 2025

著者: Bowen Wen, Shaurya Dewan, Stan Birchfield

cs.AI

要旨

ステレオ基盤モデルは強力なゼロショット汎化性能を実現するが、リアルタイム応用には計算コストが過大である。一方、効率的なステレオアーキテクチャは速度を優先する代償として頑健性を犠牲にしており、ドメイン毎の高コストなファインチューニングを必要とする。この隔たりを埋めるため、我々は初めて強力なゼロショット汎化性能をリアルタイムフレームレートで達成するアーキテクチャ群であるFast-FoundationStereoを提案する。我々は分割征服型の高速化戦略を3つの構成要素で実施する：（1）ハイブリッドバックボーンを単一の効率的な学生モデルに圧縮する知識蒸留、（2）レイテンシ制約下で最適なコストフィルタリング設計を自動発見するブロック単位の神経アーキテクチャ探索（探索複雑性を指数関数的に低減）、（3）反復リファインモジュールの冗長性を排除する構造化プルーニング。さらに、合成学習データを補完し知識蒸留を促進するため、120万組の実世界ステレオペアを精選する自動擬似ラベリングパイプラインを導入する。結果として得られたモデルは、FoundationStereoのゼロショット精度を維持しつつ10倍以上高速に動作し、リアルタイム手法における新たなstate-of-the-artを確立する。プロジェクトページ：https://nvlabs.github.io/Fast-FoundationStereo/

English

Stereo foundation models achieve strong zero-shot generalization but remain computationally prohibitive for real-time applications. Efficient stereo architectures, on the other hand, sacrifice robustness for speed and require costly per-domain fine-tuning. To bridge this gap, we present Fast-FoundationStereo, a family of architectures that achieve, for the first time, strong zero-shot generalization at real-time frame rate. We employ a divide-and-conquer acceleration strategy with three components: (1) knowledge distillation to compress the hybrid backbone into a single efficient student; (2) blockwise neural architecture search for automatically discovering optimal cost filtering designs under latency budgets, reducing search complexity exponentially; and (3) structured pruning for eliminating redundancy in the iterative refinement module. Furthermore, we introduce an automatic pseudo-labeling pipeline used to curate 1.4M in-the-wild stereo pairs to supplement synthetic training data and facilitate knowledge distillation. The resulting model can run over 10x faster than FoundationStereo while closely matching its zero-shot accuracy, thus establishing a new state-of-the-art among real-time methods. Project page: https://nvlabs.github.io/Fast-FoundationStereo/