StreamChat: Chatten met Streaming Video
StreamChat: Chatting with Streaming Video
December 11, 2024
Auteurs: Jihao Liu, Zhiding Yu, Shiyi Lan, Shihao Wang, Rongyao Fang, Jan Kautz, Hongsheng Li, Jose M. Alvare
cs.AI
Samenvatting
Dit artikel presenteert StreamChat, een nieuwe benadering die de interactiemogelijkheden van Grote Multimodale Modellen (LMM's) met streaming video-inhoud verbetert. In streaming interactiescenario's vertrouwen bestaande methoden uitsluitend op visuele informatie die beschikbaar is op het moment dat een vraag wordt gesteld, wat resulteert in aanzienlijke vertragingen doordat het model niet op de hoogte is van daaropvolgende veranderingen in de streaming video. StreamChat adresseert deze beperking door op innovatieve wijze de visuele context bij elke decodeerstap bij te werken, waardoor het model actuele videomateriaal gebruikt gedurende het decodeerproces. Daarnaast introduceren we een flexibele en efficiënte crossattention-gebaseerde architectuur om dynamische streaming invoer te verwerken, terwijl we de inferentie-efficiëntie voor streaming interacties behouden. Verder construeren we een nieuw dicht instructiedataset om het trainen van streaming interactiemodellen te vergemakkelijken, aangevuld met een parallel 3D-RoPE-mechanisme dat de relatieve temporele informatie van visuele en teksttokens codeert. Experimentele resultaten tonen aan dat StreamChat concurrerende prestaties behaalt op gevestigde beeld- en videobenchmarks en superieure mogelijkheden vertoont in streaming interactiescenario's in vergelijking met toonaangevende video LMM's.
English
This paper presents StreamChat, a novel approach that enhances the
interaction capabilities of Large Multimodal Models (LMMs) with streaming video
content. In streaming interaction scenarios, existing methods rely solely on
visual information available at the moment a question is posed, resulting in
significant delays as the model remains unaware of subsequent changes in the
streaming video. StreamChat addresses this limitation by innovatively updating
the visual context at each decoding step, ensuring that the model utilizes
up-to-date video content throughout the decoding process. Additionally, we
introduce a flexible and efficient crossattention-based architecture to process
dynamic streaming inputs while maintaining inference efficiency for streaming
interactions. Furthermore, we construct a new dense instruction dataset to
facilitate the training of streaming interaction models, complemented by a
parallel 3D-RoPE mechanism that encodes the relative temporal information of
visual and text tokens. Experimental results demonstrate that StreamChat
achieves competitive performance on established image and video benchmarks and
exhibits superior capabilities in streaming interaction scenarios compared to
state-of-the-art video LMM.