Scal3R: スケーラブルなオンライン3D再構成のための効率的な複数相対ポーズクエリの学習

要旨

オンライン3次元再構成モデルは長い動画では性能が低い。これは、ポーズを固定された最初のフレームのアンカーに相対的に回帰するため、学習分布をはるかに超える外挿を強制されることに起因する。小さなドリフトが蓄積・増幅され、深刻な幾何学的崩壊に至る。しかし、この破綻を通じてフレームごとの深度は安定したままであることを我々は観察する。バックボーンの局所的な幾何構造は無傷のままであり、大域的なポーズヘッドのみが破綻する。この分離に着想を得て、我々はScal3Rを提案する。本手法はオンライン再構成を、複数の過去のキーフレームに対する相対ポーズのクエリとして再定式化する。我々は、パラメータの約1%を占める軽量な学習可能トークンを用い、非対称アテンションにより完全に凍結されたバックボーンへ注入する。この設定は、複数の過去のキーフレームに相対するポーズをクエリする。ループ閉じ込みを備えたオンラインポーズグラフ最適化システムが長距離ドリフトを抑制する。Scal3Rは単一GPU上で8時間で収束する。KITTIでは、オンラインベースラインと比較して平均ATEを60%以上削減する。また、Virtual KITTI、Sintel、TUM-Dynamic、ScanNet、7-Scenes全体で最先端の性能を達成する。プロジェクトページ: https://linjohnss.github.io/scal3r/

English

Online 3D reconstruction models perform poorly on long videos. This happens because regressing poses relative to a fixed first-frame anchor forces extrapolation far beyond the training distribution. Small drifts accumulate and amplify into significant geometric collapse. However, we observe that per-frame depth remains stable throughout this failure. The backbone's local geometry remains intact; only the global pose head breaks down. Motivated by this decoupling, we introduce Scal3R. This approach reformulates online reconstruction as multi-reference relative pose querying. We use lightweight learnable tokens, which make up about ~1% of the parameters, and inject them into a completely frozen backbone via asymmetric attention. This setup queries poses relative to multiple past keyframes. An online pose-graph optimization system with loop closure suppresses long-range drift. Scal3R reaches convergence in 8 hours on a single GPU. It reduces the average ATE by over 60% on KITTI compared to the online baseline. It also achieves state-of-the-art performance across Virtual KITTI, Sintel, TUM-Dynamic, ScanNet, and 7-Scenes. Project page: https://linjohnss.github.io/scal3r/