ST-LLM: Große Sprachmodelle sind effektive zeitliche Lernende.

ST-LLM: Large Language Models Are Effective Temporal Learners

March 30, 2024

Autoren: Ruyang Liu, Chen Li, Haoran Tang, Yixiao Ge, Ying Shan, Ge Li

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten in Textverständnis und -erzeugung gezeigt, was Forschungsbemühungen in Richtung Video-LLMs zur Erleichterung der Mensch-KI-Interaktion auf Videoebene angeregt hat. Allerdings bleibt die Frage, wie Videos in video-basierten Dialogsystemen effektiv codiert und verstanden werden können, noch ungelöst. In diesem Paper untersuchen wir eine einfache, jedoch unerforschte Frage: Können wir alle räumlich-zeitlichen Token dem LLM zuführen und somit die Aufgabe der Videosequenzmodellierung den LLMs überlassen? Überraschenderweise führt dieser einfache Ansatz zu signifikanten Verbesserungen im Videoverständnis. Basierend darauf schlagen wir ST-LLM vor, eine effektive Video-LLM-Baseline mit räumlich-zeitlicher Sequenzmodellierung innerhalb des LLM. Darüber hinaus entwickeln wir eine dynamische Maskierungsstrategie mit maßgeschneiderten Trainingszielen, um die durch unkomprimierte Videotoken innerhalb der LLMs eingeführten Overhead- und Stabilitätsprobleme anzugehen. Für besonders lange Videos haben wir auch ein globales-lokales Eingangsmodul entworfen, um Effizienz und Effektivität auszubalancieren. Folglich nutzen wir LLM für eine effiziente räumlich-zeitliche Modellierung, wobei Effizienz und Stabilität gewahrt bleiben. Umfangreiche experimentelle Ergebnisse belegen die Wirksamkeit unserer Methode. Durch ein prägnanteres Modell und Trainingspipeline etabliert ST-LLM ein neues State-of-the-Art-Ergebnis auf VideoChatGPT-Bench und MVBench. Der Code ist verfügbar unter https://github.com/TencentARC/ST-LLM.

English

Large Language Models (LLMs) have showcased impressive capabilities in text comprehension and generation, prompting research efforts towards video LLMs to facilitate human-AI interaction at the video level. However, how to effectively encode and understand videos in video-based dialogue systems remains to be solved. In this paper, we investigate a straightforward yet unexplored question: Can we feed all spatial-temporal tokens into the LLM, thus delegating the task of video sequence modeling to the LLMs? Surprisingly, this simple approach yields significant improvements in video understanding. Based upon this, we propose ST-LLM, an effective video-LLM baseline with Spatial-Temporal sequence modeling inside LLM. Furthermore, to address the overhead and stability issues introduced by uncompressed video tokens within LLMs, we develop a dynamic masking strategy with tailor-made training objectives. For particularly long videos, we have also designed a global-local input module to balance efficiency and effectiveness. Consequently, we harness LLM for proficient spatial-temporal modeling, while upholding efficiency and stability. Extensive experimental results attest to the effectiveness of our method. Through a more concise model and training pipeline, ST-LLM establishes a new state-of-the-art result on VideoChatGPT-Bench and MVBench. Codes have been available at https://github.com/TencentARC/ST-LLM.