良質なトークン探索：ビジュアルジオメトリトランスフォーマーのためのヒッチハイカーズガイド

要旨

ビジュアルジオメトリトランスフォーマーは、多視点3次元再構成のための強力なアーキテクチャとして確立され、複数の3次元属性をフィードフォワード方式で同時に予測することを可能にしています。しかし、これらのモデル内のグローバルアテンション層により、計算コストは入力シーケンス長の二乗に比例して増大します。このことは、拡張性と効率性の両方を制限します。本研究では、シンプルながら一般的な戦略、すなわちグローバルアテンションにおいて各クエリが相互作用するキー/バリュートークンの数を制限することで、この課題に取り組みます。効果的なトークン選択を実現するために、我々は二段階のフレームワークを導入します。まず、フレーム間選択ステップでは、フレームレベルで動作し、保持すべきフレームを識別します。次に、フレーム内選択ステップでは、選択されたフレーム内でさらに冗長なトークンを破棄します。我々の分析は、フレーム間選択における多様性ベースの戦略の利点を明らかにし、これによりシーンの広範なカバレッジが確保されます。フレーム内選択については、グローバルアテンションパターンのエントロピーによって導かれる選択プロセスにおいて、レイヤー認識スパース化が必要であることを示します。本手法は、既存のソリューションと比較して優れた速度と精度のトレードオフを提供します。広範な実験により、500枚の画像からなるシーンにおいて、ビジュアルジオメトリトランスフォーマーを85%以上高速化しつつ、ベースラインの性能を維持または改善することが示されました。これは、我々のトークン選択戦略が、ビジュアルジオメトリトランスフォーマーの今後の応用において重要な役割を果たし得ることを示唆しています。プロジェクトのウェブサイトは https://zsh2000.github.io/good-token-hunting.github.io で公開されています。

English

Visual geometry transformers have become powerful architectures for multi-view 3D reconstruction, enabling joint prediction of multiple 3D attributes in a feed-forward manner. However, their computational cost grows quadratically with the input sequence length due to the global attention layers inside these models. This limits both their scalability and efficiency. In this work, we address this challenge with a simple yet general strategy: restricting the number of key/value tokens that each query interacts with during global attention. To achieve effective token selection, we introduce a two-stage framework. First, an inter-frame selection step operates at the frame level to identify frames that should be preserved. Second, an intra-frame selection step further discards more redundant tokens within the selected frames. Our analysis highlights the advantage of a diversity-based strategy for inter-frame selection, which ensures broad coverage of the scene. For intra-frame selection, we show that layer-aware sparsification is necessary, with the selection process guided by the entropy of the global attention pattern. Our approach offers a superior speed-accuracy trade-off compared to existing solutions. Extensive experiments show that it accelerates visual geometry transformers by over 85% for scenes with 500 images while maintaining, or even improving, baseline performance, which hints that how our token selection strategy can play a crucial role in future applications of visual geometry transformers. Our project website is available at https://zsh2000.github.io/good-token-hunting.github.io.