StreamChat: ストリーミングビデオとのチャット

StreamChat: Chatting with Streaming Video

December 11, 2024

著者: Jihao Liu, Zhiding Yu, Shiyi Lan, Shihao Wang, Rongyao Fang, Jan Kautz, Hongsheng Li, Jose M. Alvare

cs.AI

要旨

本論文では、StreamChatという新しいアプローチを提案し、ストリーミングビデオコンテンツとの対話能力を向上させる方法を示します。ストリーミング対話シナリオでは、従来の手法は質問が提示された時点で利用可能な視覚情報のみに依存しており、モデルがストリーミングビデオの後続の変更に気付かずにいるため、大幅な遅延が発生します。StreamChatは、デコーディングの各ステップで視覚的コンテキストを革新的に更新することで、デコーディングプロセス全体で最新のビデオコンテンツをモデルが利用することを保証し、この制限に対処します。さらに、動的なストリーミング入力を処理する柔軟かつ効率的なクロスアテンションベースのアーキテクチャを導入し、ストリーミング対話の推論効率を維持します。さらに、ストリーミング対話モデルのトレーニングを容易にするために新しい密な指示データセットを構築し、視覚とテキストのトークンの相対的な時間情報をエンコードする並列3D-RoPEメカニズムを補完します。実験結果は、StreamChatが確立された画像およびビデオベンチマークで競争力のあるパフォーマンスを達成し、最先端のビデオLMMと比較してストリーミング対話シナリオで優れた能力を示すことを示しています。

English

This paper presents StreamChat, a novel approach that enhances the interaction capabilities of Large Multimodal Models (LMMs) with streaming video content. In streaming interaction scenarios, existing methods rely solely on visual information available at the moment a question is posed, resulting in significant delays as the model remains unaware of subsequent changes in the streaming video. StreamChat addresses this limitation by innovatively updating the visual context at each decoding step, ensuring that the model utilizes up-to-date video content throughout the decoding process. Additionally, we introduce a flexible and efficient crossattention-based architecture to process dynamic streaming inputs while maintaining inference efficiency for streaming interactions. Furthermore, we construct a new dense instruction dataset to facilitate the training of streaming interaction models, complemented by a parallel 3D-RoPE mechanism that encodes the relative temporal information of visual and text tokens. Experimental results demonstrate that StreamChat achieves competitive performance on established image and video benchmarks and exhibits superior capabilities in streaming interaction scenarios compared to state-of-the-art video LMM.