時空間注意連鎖による高速4Dメッシュ生成

要旨

4Dメッシュ生成は、動画から動的3D構造を復元するための強力なパラダイムとして最近登場したが、既存手法は依然として遅く、計算コストが高く、より長いシーケンスに拡張することが困難である。我々は、トレーニング不要のアプローチを導入し、4Dメッシュ生成を高速化すると同時に、時間的対応関係の品質を向上させる。我々の重要な発見は、生成されたメッシュが視覚的に正確になるずっと前に、4Dバックボーン内部に時間的対応関係が現れるという点である。我々はこれを、時空間アテンションチェーン（Spatio-Temporal Attention Chain）と呼ぶ一般的なフレームワークで活用し、時空間にわたって情報を伝播させる。アンカーメッシュ上の頂点から始まり、チェーンは頂点を潜在トークンにマッピングする。次に、潜在空間内の時間的対応関係を追跡し、潜在から頂点へのアテンションを通じてフレーム固有の頂点を復元する。この設計により、高価な明示的マッチングを回避しつつ、アンカーメッシュの詳細を保持し、動的メッシュの形状と時間的一貫性を向上させる。最先端手法と比較して、本手法は9秒で4Dメッシュを生成し、13倍の高速化を達成しながら、より高品質な結果を生成する。さらに、本アプローチはメッシュ品質を低下させることなく、最大16倍長い動画に拡張可能である。生成を超えて、改善された対応関係により、2Dオブジェクト追跡と4D追跡という2つの下流タスクにおいて競争力のあるゼロショット性能を実現する。さらに、本フレームワークが信頼性の高いカメラ推定を可能にすることを示す。これは、従来の4Dメッシュ生成手法ではサポートされていない機能である。

English

4D mesh generation has recently emerged as a powerful paradigm for recovering dynamic 3D structure from videos, but existing methods remain slow, computationally expensive, and difficult to scale to longer sequences. We introduce a training-free approach that accelerates 4D mesh generation while improving temporal correspondence quality. Our key observation is that temporal correspondences emerge inside a 4D backbone long before its generated meshes become visually accurate. We exploit this with a general framework we call Spatio-Temporal Attention Chain which propagates information across space and time. Starting from vertices on an anchor mesh, the chain maps vertices to latent tokens. It then follows temporal correspondences in latent space, and recovers frame-specific vertices through latent-to-vertex attention. This design avoids expensive explicit matching while preserving anchor mesh details and thereby improving dynamic mesh geometry and temporal consistency. Compared to state-of-the-art, our method generates a 4D mesh in 9 seconds, achieving a 13times speedup while producing higher-quality results. Moreover, our approach scales to videos up to 16times longer without degrading mesh quality. Beyond generation, the improved correspondences enable competitive zero-shot performance on two downstream tasks: 2D object tracking and 4D tracking. We further show that our framework enables reliable camera estimation, a capability not supported by prior 4D mesh generation methods.