ST-LLM: Grote Taalmodellen Zijn Effectieve Temporele Leerders

ST-LLM: Large Language Models Are Effective Temporal Learners

March 30, 2024

Auteurs: Ruyang Liu, Chen Li, Haoran Tang, Yixiao Ge, Ying Shan, Ge Li

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben indrukwekkende capaciteiten getoond in tekstbegrip en -generatie, wat onderzoek heeft gestimuleerd naar video-LLMs om mens-AI-interactie op videoniveau te vergemakkelijken. Echter, hoe video’s effectief kunnen worden gecodeerd en begrepen in video-gebaseerde dialoogsystemen, blijft een uitdaging. In dit artikel onderzoeken we een eenvoudige maar nog onbekende vraag: Kunnen we alle ruimtelijk-temporele tokens invoeren in het LLM, en daarmee de taak van videosequentiemodellering aan de LLMs delegeren? Verrassend genoeg levert deze eenvoudige aanpak aanzienlijke verbeteringen op in videobegrip. Op basis hiervan stellen we ST-LLM voor, een effectieve video-LLM-baseline met ruimtelijk-temporele sequentiemodellering binnen het LLM. Bovendien ontwikkelen we, om de overhead en stabiliteitsproblemen die worden geïntroduceerd door ongecomprimeerde videotokens binnen LLMs aan te pakken, een dynamische maskeringsstrategie met op maat gemaakte trainingsdoelen. Voor bijzonder lange video’s hebben we ook een globaal-lokaal invoermodule ontworpen om efficiëntie en effectiviteit in balans te brengen. Hierdoor benutten we het LLM voor vaardige ruimtelijk-temporele modellering, terwijl we efficiëntie en stabiliteit behouden. Uitgebreide experimentele resultaten bevestigen de effectiviteit van onze methode. Met een beknopter model en trainingspijplijn vestigt ST-LLM een nieuwe state-of-the-art prestatie op VideoChatGPT-Bench en MVBench. De code is beschikbaar op https://github.com/TencentARC/ST-LLM.

English

Large Language Models (LLMs) have showcased impressive capabilities in text comprehension and generation, prompting research efforts towards video LLMs to facilitate human-AI interaction at the video level. However, how to effectively encode and understand videos in video-based dialogue systems remains to be solved. In this paper, we investigate a straightforward yet unexplored question: Can we feed all spatial-temporal tokens into the LLM, thus delegating the task of video sequence modeling to the LLMs? Surprisingly, this simple approach yields significant improvements in video understanding. Based upon this, we propose ST-LLM, an effective video-LLM baseline with Spatial-Temporal sequence modeling inside LLM. Furthermore, to address the overhead and stability issues introduced by uncompressed video tokens within LLMs, we develop a dynamic masking strategy with tailor-made training objectives. For particularly long videos, we have also designed a global-local input module to balance efficiency and effectiveness. Consequently, we harness LLM for proficient spatial-temporal modeling, while upholding efficiency and stability. Extensive experimental results attest to the effectiveness of our method. Through a more concise model and training pipeline, ST-LLM establishes a new state-of-the-art result on VideoChatGPT-Bench and MVBench. Codes have been available at https://github.com/TencentARC/ST-LLM.