CoVeR: VLMにおけるマルチビュー3D推論のためのカバレッジベースのトークンプルーニング

要旨

3次元シーンを多視点画像として表現することは、2D VLMが事前学習からの事前知識を再利用して3次元で推論することを可能にし、アノテーション付き3次元データの不足を回避する。しかし、これは数千の冗長な視覚トークンを生成し、そのコストは視点が増えるごとに増大する。既存の視覚トークン枝刈り手法は2つの系統に大別されるが、いずれも3次元多視点設定では限界がある。学習型重要度手法はアテンションまたはエンコーダ特徴量によってトークンを順位付けするが、ここでの冗長性は本質的に空間的であるため、少数の顕著な領域からのほぼ重複したトークンを保持し、シーンの大部分を未表現のまま残す。ボクセル化手法は空間被覆率を改善するものの、正確なトークン予算を強制できず、多視点観測が3次元で重複するにつれて飽和し、保持率を目標を大きく下回る水準に制限する。我々は、空間被覆率が3次元推論性能と関連することを示し、トークン座標のみを使用し、学習信号を一切用いない決定論的で学習不要のセレクタであるCoVeRを導入する。CoVeRはシーンのあらゆる領域を集合的に被覆するトークンを選択し、両系統の限界を解決する。すなわち、シーンごとの正確な予算を強制し、ボクセル化の飽和プラトーを打破し、学習型重要度のほぼ重複した選択を回避する。広範な実験により、CoVeRは3つの3次元推論ベンチマークすべてで従来のSOTAを上回り、4つのVLMで検証されたプラグアンドプレイモジュールとして汎化することが示される。特筆すべきは、わずか約8%の視覚トークンで、全トークン時の性能の93.5%を維持し、ベンチマーク平均でSOTAを3.9ポイント上回ることである。

English

Representing a 3D scene as multi-view images allows 2D VLMs to reason in 3D by reusing priors from pre-training, sidestepping the scarcity of annotated 3D data. However, it produces thousands of redundant visual tokens whose cost grows with every view. Existing visual token pruners fall into two families, each limited in the 3D multi-view setting. Learned importance methods rank tokens by attention or encoder features; because redundancy here is fundamentally spatial, they keep near-duplicate tokens from a few prominent regions and leave most of the scene unrepresented. Voxelization methods improve spatial coverage but cannot enforce an exact token budget and saturate as multi-view observations overlap in 3D, capping retention well below the target. We show that spatial coverage is associated with 3D reasoning performance and introduce CoVeR, a deterministic, training-free selector that uses only token coordinates, with no learned signals. CoVeR selects tokens that collectively cover every region of the scene, and solves the limitations of both families: it enforces an exact per-scene budget, breaks the voxelization saturation plateau, and avoids the near-duplicate selections of learned importance. Extensive experiments show CoVeR outperforms prior SOTAs on all three 3D reasoning benchmarks and generalizes as a plug-and-play module tested across four VLMs. Notably, with only approx8% of visual tokens, it preserves 93.5% of full-token performance, surpassing SOTA by 3.9 percentage points on average across benchmarks.