BA-T: 2視点バンドル調整のための反復Transformer

要旨

フィードフォワードモデルによる3次元再構成では、画像間の情報交換に深いクロスビューアテンションを用いることで高い性能を達成している。しかし、これらの手法は多くの場合、重厚なデコーダスタックに依存し、幾何学的精緻化のための構造化された機構が欠如しているため、マルチビュー一貫性が低いという問題がある。本研究では、古典的なバンドル調整（BA）から着想を得て、この問題に取り組む。BAは、ポーズと局所幾何形状間の反復的な情報伝播プロセスと見なすことができる。BAに触発され、我々はBA-Tを提案する。これは、BAスタイルの構造化更新を暗黙的トークン空間における反復可能な層として実装する反復型Transformerである。BA-Tは深いアテンションスタックに依存せず、単一の軽量層によって潜在残差に基づく予測を精緻化する。実験では、BA-Tが反復を重ねるごとにポーズと再構成精度を段階的に向上させ、従来のデコーダよりも強力なクロスビュー一貫性を達成し、デコーダパラメータを16%のみ使用しながら、はるかに大規模なモデルに匹敵またはそれを上回る性能を示す。BA-Tは、深いアテンションに代わるコンパクトで効率的かつ構造的な選択肢を提供し、軽量アーキテクチャ内での正確な3次元再構成を可能にする。コードはhttps://github.com/zhangganlin/BA-Tにて公開予定である。

English

Feed-forward models for 3D reconstruction have achieved strong performance using deep cross-view attention to exchange information across images. However, these approaches often depend on heavy decoder stacks and lack a structured mechanism for geometry refinement, resulting in poor multi-view consistency. We address this by drawing inspiration from classical bundle adjustment (BA), which can be viewed as an iterative information propagation process between poses and local geometry. Inspired by BA, we propose BA-T, an iterative Transformer that implements BA-style structured updates as a repeatable layer in implicit token space. Instead of relying on deep attention stacks, BA-T refines predictions based on latent residual by a single lightweight layer. Experiments demonstrate that BA-T progressively improves pose and reconstruction accuracy across iterations, achieves stronger cross-view consistency than conventional decoders, and matches or surpasses substantially larger models while using only 16% of their decoder parameters. BA-T provides a compact, efficient, and structural alternative to depth-heavy attention, enabling accurate 3D reconstruction within a lightweight architecture. The code will be made publicly at https://github.com/zhangganlin/BA-T.