StreamChat: Общение с потоковым видео

StreamChat: Chatting with Streaming Video

December 11, 2024

Авторы: Jihao Liu, Zhiding Yu, Shiyi Lan, Shihao Wang, Rongyao Fang, Jan Kautz, Hongsheng Li, Jose M. Alvare

cs.AI

Аннотация

В данной статье представлен StreamChat, новый подход, который улучшает возможности взаимодействия крупных мультимодальных моделей (LMM) с потоковым видеоконтентом. В сценариях потокового взаимодействия существующие методы полагаются исключительно на визуальную информацию, доступную на момент постановки вопроса, что приводит к значительным задержкам, поскольку модель остается неосведомленной о последующих изменениях в потоковом видео. StreamChat решает эту проблему, инновационно обновляя визуальный контекст на каждом шаге декодирования, обеспечивая использование моделью актуального видеоконтента на протяжении всего процесса декодирования. Кроме того, мы представляем гибкую и эффективную архитектуру на основе кросс-внимания для обработки динамических потоковых входов, сохраняя при этом эффективность вывода для потокового взаимодействия. Кроме того, мы создаем новый плотный набор данных инструкций для облегчения обучения моделей потокового взаимодействия, дополненный параллельным механизмом 3D-RoPE, который кодирует относительную временную информацию визуальных и текстовых токенов. Экспериментальные результаты показывают, что StreamChat достигает конкурентоспособной производительности на установленных бенчмарках изображений и видео и обладает превосходными возможностями в сценариях потокового взаимодействия по сравнению с передовыми видео LMM.

English

This paper presents StreamChat, a novel approach that enhances the interaction capabilities of Large Multimodal Models (LMMs) with streaming video content. In streaming interaction scenarios, existing methods rely solely on visual information available at the moment a question is posed, resulting in significant delays as the model remains unaware of subsequent changes in the streaming video. StreamChat addresses this limitation by innovatively updating the visual context at each decoding step, ensuring that the model utilizes up-to-date video content throughout the decoding process. Additionally, we introduce a flexible and efficient crossattention-based architecture to process dynamic streaming inputs while maintaining inference efficiency for streaming interactions. Furthermore, we construct a new dense instruction dataset to facilitate the training of streaming interaction models, complemented by a parallel 3D-RoPE mechanism that encodes the relative temporal information of visual and text tokens. Experimental results demonstrate that StreamChat achieves competitive performance on established image and video benchmarks and exhibits superior capabilities in streaming interaction scenarios compared to state-of-the-art video LMM.