ST-LLM: Los Modelos de Lenguaje de Gran Escala Son Aprendices Temporales Efectivos

ST-LLM: Large Language Models Are Effective Temporal Learners

March 30, 2024

Autores: Ruyang Liu, Chen Li, Haoran Tang, Yixiao Ge, Ying Shan, Ge Li

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades impresionantes en la comprensión y generación de texto, lo que ha impulsado esfuerzos de investigación hacia LLMs de video para facilitar la interacción humano-IA a nivel de video. Sin embargo, cómo codificar y comprender videos de manera efectiva en sistemas de diálogo basados en video sigue siendo un problema por resolver. En este artículo, investigamos una pregunta sencilla pero inexplorada: ¿Podemos alimentar todos los tokens espacio-temporales en el LLM, delegando así la tarea de modelado de secuencias de video a los LLMs? Sorprendentemente, este enfoque simple produce mejoras significativas en la comprensión de video. Basándonos en esto, proponemos ST-LLM, una línea base efectiva de LLM de video con modelado de secuencias espacio-temporales dentro del LLM. Además, para abordar los problemas de sobrecarga y estabilidad introducidos por los tokens de video no comprimidos dentro de los LLMs, desarrollamos una estrategia de enmascaramiento dinámico con objetivos de entrenamiento personalizados. Para videos particularmente largos, también hemos diseñado un módulo de entrada global-local para equilibrar la eficiencia y la efectividad. En consecuencia, aprovechamos el LLM para un modelado espacio-temporal competente, manteniendo la eficiencia y la estabilidad. Los resultados experimentales extensos atestiguan la efectividad de nuestro método. A través de un modelo y una canalización de entrenamiento más concisos, ST-LLM establece un nuevo estado del arte en VideoChatGPT-Bench y MVBench. Los códigos están disponibles en https://github.com/TencentARC/ST-LLM.

English

Large Language Models (LLMs) have showcased impressive capabilities in text comprehension and generation, prompting research efforts towards video LLMs to facilitate human-AI interaction at the video level. However, how to effectively encode and understand videos in video-based dialogue systems remains to be solved. In this paper, we investigate a straightforward yet unexplored question: Can we feed all spatial-temporal tokens into the LLM, thus delegating the task of video sequence modeling to the LLMs? Surprisingly, this simple approach yields significant improvements in video understanding. Based upon this, we propose ST-LLM, an effective video-LLM baseline with Spatial-Temporal sequence modeling inside LLM. Furthermore, to address the overhead and stability issues introduced by uncompressed video tokens within LLMs, we develop a dynamic masking strategy with tailor-made training objectives. For particularly long videos, we have also designed a global-local input module to balance efficiency and effectiveness. Consequently, we harness LLM for proficient spatial-temporal modeling, while upholding efficiency and stability. Extensive experimental results attest to the effectiveness of our method. Through a more concise model and training pipeline, ST-LLM establishes a new state-of-the-art result on VideoChatGPT-Bench and MVBench. Codes have been available at https://github.com/TencentARC/ST-LLM.