ST-LLM: Modelos de Linguagem de Grande Escala São Aprendizes Temporais Eficazes

ST-LLM: Large Language Models Are Effective Temporal Learners

March 30, 2024

Autores: Ruyang Liu, Chen Li, Haoran Tang, Yixiao Ge, Ying Shan, Ge Li

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) têm demonstrado capacidades impressionantes na compreensão e geração de texto, impulsionando esforços de pesquisa em direção a LLMs de vídeo para facilitar a interação humano-IA no nível de vídeo. No entanto, como codificar e entender vídeos de forma eficaz em sistemas de diálogo baseados em vídeo ainda é um desafio a ser resolvido. Neste artigo, investigamos uma questão simples, mas ainda não explorada: Podemos alimentar todos os tokens espaço-temporais no LLM, delegando assim a tarefa de modelagem de sequência de vídeo aos LLMs? Surpreendentemente, essa abordagem simples resulta em melhorias significativas na compreensão de vídeos. Com base nisso, propomos o ST-LLM, uma linha de base eficaz de LLM de vídeo com modelagem de sequência Espaço-Temporal dentro do LLM. Além disso, para lidar com os problemas de sobrecarga e estabilidade introduzidos pelos tokens de vídeo não compactados dentro dos LLMs, desenvolvemos uma estratégia de mascaramento dinâmico com objetivos de treinamento personalizados. Para vídeos particularmente longos, também projetamos um módulo de entrada global-local para equilibrar eficiência e eficácia. Consequentemente, aproveitamos o LLM para uma modelagem espaço-temporal proficiente, mantendo a eficiência e a estabilidade. Resultados experimentais extensivos atestam a eficácia do nosso método. Por meio de um modelo e pipeline de treinamento mais concisos, o ST-LLM estabelece um novo estado da arte no VideoChatGPT-Bench e no MVBench. Os códigos estão disponíveis em https://github.com/TencentARC/ST-LLM.

English

Large Language Models (LLMs) have showcased impressive capabilities in text comprehension and generation, prompting research efforts towards video LLMs to facilitate human-AI interaction at the video level. However, how to effectively encode and understand videos in video-based dialogue systems remains to be solved. In this paper, we investigate a straightforward yet unexplored question: Can we feed all spatial-temporal tokens into the LLM, thus delegating the task of video sequence modeling to the LLMs? Surprisingly, this simple approach yields significant improvements in video understanding. Based upon this, we propose ST-LLM, an effective video-LLM baseline with Spatial-Temporal sequence modeling inside LLM. Furthermore, to address the overhead and stability issues introduced by uncompressed video tokens within LLMs, we develop a dynamic masking strategy with tailor-made training objectives. For particularly long videos, we have also designed a global-local input module to balance efficiency and effectiveness. Consequently, we harness LLM for proficient spatial-temporal modeling, while upholding efficiency and stability. Extensive experimental results attest to the effectiveness of our method. Through a more concise model and training pipeline, ST-LLM establishes a new state-of-the-art result on VideoChatGPT-Bench and MVBench. Codes have been available at https://github.com/TencentARC/ST-LLM.