StreamChat : Discussion avec Vidéo en Streaming

StreamChat: Chatting with Streaming Video

December 11, 2024

Auteurs: Jihao Liu, Zhiding Yu, Shiyi Lan, Shihao Wang, Rongyao Fang, Jan Kautz, Hongsheng Li, Jose M. Alvare

cs.AI

Résumé

Cet article présente StreamChat, une approche novatrice qui améliore les capacités d'interaction des Grands Modèles Multimodaux (LMM) avec du contenu vidéo en streaming. Dans les scénarios d'interaction en streaming, les méthodes existantes se basent uniquement sur les informations visuelles disponibles au moment où une question est posée, ce qui entraîne des retards significatifs car le modèle reste inconscient des changements ultérieurs dans la vidéo en streaming. StreamChat aborde cette limitation en mettant à jour de manière innovante le contexte visuel à chaque étape de décodage, garantissant que le modèle utilise un contenu vidéo à jour tout au long du processus de décodage. De plus, nous introduisons une architecture flexible et efficace basée sur l'attention croisée pour traiter les entrées en streaming dynamiques tout en maintenant l'efficacité de l'inférence pour les interactions en streaming. En outre, nous construisons un nouvel ensemble de données d'instructions denses pour faciliter l'entraînement des modèles d'interaction en streaming, complété par un mécanisme parallèle 3D-RoPE qui code les informations temporelles relatives des jetons visuels et textuels. Les résultats expérimentaux montrent que StreamChat atteint des performances compétitives sur des référentiels d'images et de vidéos établis et présente des capacités supérieures dans les scénarios d'interaction en streaming par rapport aux LMM vidéo de pointe.

English

This paper presents StreamChat, a novel approach that enhances the interaction capabilities of Large Multimodal Models (LMMs) with streaming video content. In streaming interaction scenarios, existing methods rely solely on visual information available at the moment a question is posed, resulting in significant delays as the model remains unaware of subsequent changes in the streaming video. StreamChat addresses this limitation by innovatively updating the visual context at each decoding step, ensuring that the model utilizes up-to-date video content throughout the decoding process. Additionally, we introduce a flexible and efficient crossattention-based architecture to process dynamic streaming inputs while maintaining inference efficiency for streaming interactions. Furthermore, we construct a new dense instruction dataset to facilitate the training of streaming interaction models, complemented by a parallel 3D-RoPE mechanism that encodes the relative temporal information of visual and text tokens. Experimental results demonstrate that StreamChat achieves competitive performance on established image and video benchmarks and exhibits superior capabilities in streaming interaction scenarios compared to state-of-the-art video LMM.