ビデオ内のあらゆるものを特定する：効率的な生成的時空間ビデオグラウンディングの再考

要旨

時空間ビデオグラウンディング（STVG）は、モデルが参照されたイベントの発生時刻を特定し、その区間全体にわたって対象エンティティを位置特定することを必要とする。既存のマルチモーダル大規模言語モデルは、通常、密な位置特定トラジェクトリを自己回帰的にシリアライズするため、デコード遅延がチューブ長に応じて増大し、位置特定エラーが時間的に伝播する可能性がある。我々は、並列チューブデコーディング（PTD）を導入する。これは、グラウンディングを時間ブロックと、それに続く時間条件付き空間ブロック（同時にデコードされる）に分解する生成的定式化である。これにより、トークンレベルとトラジェクトリレベルの両方の依存関係が除去され、逐次デコード深さがチューブ長に依存しない固定の1+1ラウンドに削減される。並列空間生成を可能にするため、共有ビデオクエリコンテキストへのアクセスを維持しつつクロスボックス依存関係を排除する分離ブロックアテンションと、時間的境界と空間的幾何学のための位置特定認識ポリシー最適化を導入する。VidSTGにおいて、PTDは標準的な自己回帰デコードと比較して、チューブ完了レイテンシを79倍削減し、空間デコードスループットを92倍向上させ、さらにグラウンディング精度も改善する。コンパクトな4Bバックボーンを用いることで、我々のモデルはVidSTGおよびHC-STVGで良好な性能を発揮し、時間的グラウンディング、グラウンデッドVideoQA、参照ビデオオブジェクト追跡へのゼロショット汎化を実現する。これらの結果は、並列チューブ生成がビデオにおける自己回帰的位置特定の効率的かつ効果的な代替手段であることを示している。

English

Spatio-temporal video grounding (STVG) requires models to identify when a referred event occurs and localize the target entity throughout that interval. Existing multimodal large language models typically serialize dense localization trajectories autoregressively, causing decoding latency to grow with tube length and allowing localization errors to propagate across time. We introduce Parallel Tube Decoding (PTD), a generative formulation that decomposes grounding into a temporal block followed by time-conditioned spatial blocks decoded simultaneously. This removes both token-level and trajectory-level dependencies, reducing the sequential decoding depth to a fixed 1 + 1 rounds, independent of tube length. To enable parallel spatial generation, we introduce Decoupled Block Attention, which preserves access to shared video-query context while eliminating cross-box dependencies, together with localization-aware policy optimization for temporal boundaries and spatial geometry. On VidSTG, PTD reduces Tube Completion Latency by 79x and increases spatial decoding throughput by 92x over standard autoregressive decoding, while also improving grounding accuracy. With a compact 4B backbone, our model performs favorably well on VidSTG and HC-STVG, and generalizes zero-shot to temporal grounding, grounded VideoQA, and referring video object tracking. Our results show parallel tube generation is an efficient and effective alternative to autoregressive localization in videos.