StreamChat: Conversando com Vídeo em Streaming

StreamChat: Chatting with Streaming Video

December 11, 2024

Autores: Jihao Liu, Zhiding Yu, Shiyi Lan, Shihao Wang, Rongyao Fang, Jan Kautz, Hongsheng Li, Jose M. Alvare

cs.AI

Resumo

Este artigo apresenta o StreamChat, uma abordagem inovadora que aprimora as capacidades de interação de Modelos Multimodais Grandes (LMMs) com conteúdo de vídeo em streaming. Em cenários de interação em tempo real, os métodos existentes dependem exclusivamente das informações visuais disponíveis no momento em que uma pergunta é feita, resultando em atrasos significativos, uma vez que o modelo permanece inconsciente de mudanças subsequentes no vídeo em streaming. O StreamChat aborda essa limitação atualizando de forma inovadora o contexto visual a cada passo de decodificação, garantindo que o modelo utilize conteúdo de vídeo atualizado ao longo do processo de decodificação. Além disso, introduzimos uma arquitetura flexível e eficiente baseada em crossattention para processar entradas de streaming dinâmicas, mantendo a eficiência de inferência para interações em tempo real. Além disso, construímos um novo conjunto de dados de instruções densas para facilitar o treinamento de modelos de interação em tempo real, complementado por um mecanismo paralelo 3D-RoPE que codifica as informações temporais relativas de tokens visuais e de texto. Resultados experimentais demonstram que o StreamChat alcança desempenho competitivo em benchmarks estabelecidos de imagem e vídeo, exibindo capacidades superiores em cenários de interação em tempo real em comparação com o LMM de vídeo de última geração.

English

This paper presents StreamChat, a novel approach that enhances the interaction capabilities of Large Multimodal Models (LMMs) with streaming video content. In streaming interaction scenarios, existing methods rely solely on visual information available at the moment a question is posed, resulting in significant delays as the model remains unaware of subsequent changes in the streaming video. StreamChat addresses this limitation by innovatively updating the visual context at each decoding step, ensuring that the model utilizes up-to-date video content throughout the decoding process. Additionally, we introduce a flexible and efficient crossattention-based architecture to process dynamic streaming inputs while maintaining inference efficiency for streaming interactions. Furthermore, we construct a new dense instruction dataset to facilitate the training of streaming interaction models, complemented by a parallel 3D-RoPE mechanism that encodes the relative temporal information of visual and text tokens. Experimental results demonstrate that StreamChat achieves competitive performance on established image and video benchmarks and exhibits superior capabilities in streaming interaction scenarios compared to state-of-the-art video LMM.