メモリ統合により長文脈ビデオ理解が可能となる

要旨

ほとんどのTransformerベースのビデオエンコーダーは、その二次的な計算複雑さのため、短い時間的コンテキストに限定されています。このコンテキストを拡張するための様々な試みがなされてきましたが、それらはしばしば概念的および計算的な複雑さの増大という代償を伴っていました。私たちは、既存の事前学習済みビデオTransformerを再利用し、過去の活性化から非パラメトリックに導出されたメモリに注意を向けるように単純にファインチューニングすることを提案します。冗長性削減を活用することで、私たちのメモリ統合型ビジョンTransformer（MC-ViT）は、過去にわたるコンテキストを容易に拡張し、より長いビデオから学習する際に優れたスケーリング特性を示します。これにより、MC-ViTはEgoSchema、Perception Test、Diving48における長文脈ビデオ理解において新たな最先端を達成し、桁違いに多くのパラメータを有する手法を凌駕する性能を示します。

English

Most transformer-based video encoders are limited to short temporal contexts due to their quadratic complexity. While various attempts have been made to extend this context, this has often come at the cost of both conceptual and computational complexity. We propose to instead re-purpose existing pre-trained video transformers by simply fine-tuning them to attend to memories derived non-parametrically from past activations. By leveraging redundancy reduction, our memory-consolidated vision transformer (MC-ViT) effortlessly extends its context far into the past and exhibits excellent scaling behavior when learning from longer videos. In doing so, MC-ViT sets a new state-of-the-art in long-context video understanding on EgoSchema, Perception Test, and Diving48, outperforming methods that benefit from orders of magnitude more parameters.

メモリ統合により長文脈ビデオ理解が可能となる

Memory Consolidation Enables Long-Context Video Understanding

要旨

Support