StreamChat: Chatten mit Streaming-Video

StreamChat: Chatting with Streaming Video

December 11, 2024

Autoren: Jihao Liu, Zhiding Yu, Shiyi Lan, Shihao Wang, Rongyao Fang, Jan Kautz, Hongsheng Li, Jose M. Alvare

cs.AI

Zusammenfassung

Dieses Paper präsentiert StreamChat, einen neuartigen Ansatz, der die Interaktionsfähigkeiten großer multimodaler Modelle (LMMs) mit Streaming-Videoinhalten verbessert. In Szenarien mit Streaming-Interaktionen verlassen sich bestehende Methoden ausschließlich auf visuelle Informationen, die zum Zeitpunkt einer Fragestellung verfügbar sind, was zu erheblichen Verzögerungen führt, da das Modell sich der nachfolgenden Änderungen im Streaming-Video nicht bewusst ist. StreamChat begegnet dieser Einschränkung, indem es den visuellen Kontext bei jedem Decodierungsschritt innovativ aktualisiert, um sicherzustellen, dass das Modell während des gesamten Decodierungsprozesses aktuelle Videoinhalte nutzt. Darüber hinaus führen wir eine flexible und effiziente Crossattention-basierte Architektur ein, um dynamische Streaming-Eingaben zu verarbeiten und gleichzeitig die Inferenzeffizienz für Streaming-Interaktionen zu gewährleisten. Des Weiteren konstruieren wir einen neuen dichten Anweisungsdatensatz, um das Training von Modellen für Streaming-Interaktionen zu erleichtern, ergänzt durch einen parallelen 3D-RoPE-Mechanismus, der die relative zeitliche Information von visuellen und Text-Token codiert. Experimentelle Ergebnisse zeigen, dass StreamChat eine wettbewerbsfähige Leistung auf etablierten Bild- und Video-Benchmarks erzielt und überlegene Fähigkeiten in Streaming-Interaktionsszenarien im Vergleich zu führenden Video-LMMs aufweist.

English

This paper presents StreamChat, a novel approach that enhances the interaction capabilities of Large Multimodal Models (LMMs) with streaming video content. In streaming interaction scenarios, existing methods rely solely on visual information available at the moment a question is posed, resulting in significant delays as the model remains unaware of subsequent changes in the streaming video. StreamChat addresses this limitation by innovatively updating the visual context at each decoding step, ensuring that the model utilizes up-to-date video content throughout the decoding process. Additionally, we introduce a flexible and efficient crossattention-based architecture to process dynamic streaming inputs while maintaining inference efficiency for streaming interactions. Furthermore, we construct a new dense instruction dataset to facilitate the training of streaming interaction models, complemented by a parallel 3D-RoPE mechanism that encodes the relative temporal information of visual and text tokens. Experimental results demonstrate that StreamChat achieves competitive performance on established image and video benchmarks and exhibits superior capabilities in streaming interaction scenarios compared to state-of-the-art video LMM.