ShallowStream：ストリーミング動画理解のための浅層インデックス化と深層応答

要旨

ストリーミング映像理解は、身体化知能、自動運転、産業モニタリング、監視・早期警戒、ウェアラブルアシスタントなど、実世界の応用にとって重要な能力である。しかし、連続する映像ストリームをマルチモーダル大規模言語モデル（MLLM）で処理することは、計算コストが非常に高い。既存の取り組みでは、視覚トークンの刈り込み、トークンのマージ、量子化、オンデマンドのフレーム検索、コンテキストのオフロードなどを通じて、ストリーミングのオーバーヘッド削減が試みられてきた。しかし、既存手法の大半はモデルの深さという次元を見落としている。新たに到来するフレームに対して全層にわたるMLLMプリフィルを繰り返し実行することは、法外なコストを要し、多大な計算オーバーヘッドを招くとともに、KVキャッシュがプリフィルの深さに比例して増大する原因となる。これらの課題に対処するため、我々はShallowStreamを提案する。ShallowStreamは、MLLMの浅い層を利用して、フレームのエンコードと検索インデックスの構築を同時に実行する新しいフレームワークである。ストリーム処理中、ShallowStreamは浅い層のKVキャッシュを用いた常時稼働の軽量インデックスを維持する。クエリ応答時には、浅い層で生成されたアテンションスコアを用いてコンテキストフレームを評価し、多様性を考慮した選択戦略により、正確かつ包括的な証拠を検索する。ShallowStreamは、既存の最も高性能なストリーミング手法と同等の性能を達成しつつ、フレームごとのプリフィル遅延と10秒のエンドツーエンド遅延を、それぞれ最大52.1倍および11.9倍削減する。コードはhttps://github.com/CURRENTF/ShallowStreamで公開している。

English

Streaming video understanding is a critical capability for real-world applications, including embodied intelligence, autonomous driving, industrial monitoring, surveillance and early warning, and wearable assistants. However, processing continuous video streams with multimodal large language models (MLLMs) is computationally expensive. Existing efforts have explored reducing streaming overhead through visual token pruning, token merging, quantization, on-demand frame retrieval, and context offloading. However, most existing methods overlook the dimension of model depth. Repeatedly executing full-depth MLLM prefill over incoming frames is prohibitively expensive, incurring substantial computational overhead and causing the KV cache to grow at a rate directly proportional to the prefill depth. To address these challenges, we propose ShallowStream, a novel framework that leverages the shallow layers of an MLLM to simultaneously perform frame encoding and retrieval index building. During stream processing, ShallowStream maintains an always-on lightweight index using the KV cache of shallow layers. During query-time answering, we leverage the attention scores generated by the shallow layers to score context frames and employ a diversity-aware selection strategy to retrieve precise and comprehensive evidence. ShallowStream achieves performance on par with the strongest existing streaming methods, while reducing per-frame prefill latency and 10-second end-to-end latency by up to 52.1x and 11.9x, respectively. Our code is available at https://github.com/CURRENTF/ShallowStream.