ST-LLM: I Modelli Linguistici di Grande Dimensione Sono Apprenditori Temporali Efficaci

ST-LLM: Large Language Models Are Effective Temporal Learners

March 30, 2024

Autori: Ruyang Liu, Chen Li, Haoran Tang, Yixiao Ge, Ying Shan, Ge Li

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato capacità impressionanti nella comprensione e generazione di testi, stimolando gli sforzi di ricerca verso i video LLM per facilitare l'interazione uomo-IA a livello video. Tuttavia, come codificare e comprendere efficacemente i video nei sistemi di dialogo basati su video rimane una questione da risolvere. In questo articolo, indaghiamo una domanda semplice ma inesplorata: possiamo inserire tutti i token spazio-temporali nel LLM, delegando così il compito di modellazione delle sequenze video ai LLM? Sorprendentemente, questo approccio semplice produce miglioramenti significativi nella comprensione dei video. Sulla base di ciò, proponiamo ST-LLM, una baseline efficace di video-LLM con modellazione di sequenze spazio-temporali all'interno del LLM. Inoltre, per affrontare i problemi di overhead e stabilità introdotti dai token video non compressi all'interno dei LLM, sviluppiamo una strategia di mascheramento dinamico con obiettivi di formazione su misura. Per video particolarmente lunghi, abbiamo anche progettato un modulo di input globale-locale per bilanciare efficienza ed efficacia. Di conseguenza, sfruttiamo il LLM per una modellazione spazio-temporale competente, mantenendo al contempo efficienza e stabilità. I risultati sperimentali estesi attestano l'efficacia del nostro metodo. Attraverso un modello e una pipeline di addestramento più concisi, ST-LLM stabilisce un nuovo stato dell'arte su VideoChatGPT-Bench e MVBench. I codici sono disponibili su https://github.com/TencentARC/ST-LLM.

English

Large Language Models (LLMs) have showcased impressive capabilities in text comprehension and generation, prompting research efforts towards video LLMs to facilitate human-AI interaction at the video level. However, how to effectively encode and understand videos in video-based dialogue systems remains to be solved. In this paper, we investigate a straightforward yet unexplored question: Can we feed all spatial-temporal tokens into the LLM, thus delegating the task of video sequence modeling to the LLMs? Surprisingly, this simple approach yields significant improvements in video understanding. Based upon this, we propose ST-LLM, an effective video-LLM baseline with Spatial-Temporal sequence modeling inside LLM. Furthermore, to address the overhead and stability issues introduced by uncompressed video tokens within LLMs, we develop a dynamic masking strategy with tailor-made training objectives. For particularly long videos, we have also designed a global-local input module to balance efficiency and effectiveness. Consequently, we harness LLM for proficient spatial-temporal modeling, while upholding efficiency and stability. Extensive experimental results attest to the effectiveness of our method. Through a more concise model and training pipeline, ST-LLM establishes a new state-of-the-art result on VideoChatGPT-Bench and MVBench. Codes have been available at https://github.com/TencentARC/ST-LLM.