ST-LLM : Les grands modèles de langage sont des apprenants temporels efficaces

ST-LLM: Large Language Models Are Effective Temporal Learners

March 30, 2024

Auteurs: Ruyang Liu, Chen Li, Haoran Tang, Yixiao Ge, Ying Shan, Ge Li

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) ont démontré des capacités impressionnantes en matière de compréhension et de génération de texte, suscitant des efforts de recherche vers des LLMs vidéo pour faciliter l'interaction humain-IA au niveau vidéo. Cependant, la manière d'encoder et de comprendre efficacement les vidéos dans les systèmes de dialogue basés sur la vidéo reste à résoudre. Dans cet article, nous explorons une question simple mais inédite : pouvons-nous fournir tous les tokens spatio-temporels au LLM, déléguant ainsi la tâche de modélisation des séquences vidéo aux LLMs ? Étonnamment, cette approche simple entraîne des améliorations significatives dans la compréhension vidéo. Sur cette base, nous proposons ST-LLM, une base efficace de LLM vidéo avec modélisation de séquences spatio-temporelles intégrée au LLM. De plus, pour résoudre les problèmes de surcharge et de stabilité introduits par les tokens vidéo non compressés dans les LLMs, nous développons une stratégie de masquage dynamique avec des objectifs d'entraînement sur mesure. Pour les vidéos particulièrement longues, nous avons également conçu un module d'entrée global-local pour équilibrer efficacité et performance. Par conséquent, nous exploitons le LLM pour une modélisation spatio-temporelle compétente, tout en maintenant l'efficacité et la stabilité. Les résultats expérimentaux approfondis attestent de l'efficacité de notre méthode. Grâce à un modèle et un pipeline d'entraînement plus concis, ST-LLM établit un nouvel état de l'art sur VideoChatGPT-Bench et MVBench. Les codes sont disponibles à l'adresse suivante : https://github.com/TencentARC/ST-LLM.

English

Large Language Models (LLMs) have showcased impressive capabilities in text comprehension and generation, prompting research efforts towards video LLMs to facilitate human-AI interaction at the video level. However, how to effectively encode and understand videos in video-based dialogue systems remains to be solved. In this paper, we investigate a straightforward yet unexplored question: Can we feed all spatial-temporal tokens into the LLM, thus delegating the task of video sequence modeling to the LLMs? Surprisingly, this simple approach yields significant improvements in video understanding. Based upon this, we propose ST-LLM, an effective video-LLM baseline with Spatial-Temporal sequence modeling inside LLM. Furthermore, to address the overhead and stability issues introduced by uncompressed video tokens within LLMs, we develop a dynamic masking strategy with tailor-made training objectives. For particularly long videos, we have also designed a global-local input module to balance efficiency and effectiveness. Consequently, we harness LLM for proficient spatial-temporal modeling, while upholding efficiency and stability. Extensive experimental results attest to the effectiveness of our method. Through a more concise model and training pipeline, ST-LLM establishes a new state-of-the-art result on VideoChatGPT-Bench and MVBench. Codes have been available at https://github.com/TencentARC/ST-LLM.