ST-LLM: Большие языковые модели - эффективные обучающиеся на временных данных.

ST-LLM: Large Language Models Are Effective Temporal Learners

March 30, 2024

Авторы: Ruyang Liu, Chen Li, Haoran Tang, Yixiao Ge, Ying Shan, Ge Li

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали впечатляющие возможности в понимании и генерации текста, что побудило исследовательские усилия в направлении видео-LLM для облегчения взаимодействия человека с ИИ на уровне видео. Однако вопрос эффективного кодирования и понимания видео в системах диалога на основе видео остается нерешенным. В данной статье мы исследуем простой, но неисследованный вопрос: можно ли передавать все пространственно-временные токены в LLM, делегируя тем самым задачу моделирования видеопоследовательности LLM? Удивительно, что такой простой подход приводит к значительным улучшениям в понимании видео. На основе этого мы предлагаем ST-LLM, эффективную базовую видео-LLM с моделированием пространственно-временной последовательности внутри LLM. Кроме того, чтобы решить проблемы нагрузки и стабильности, вводимые несжатыми видеотокенами в LLM, мы разрабатываем динамическую стратегию маскирования с индивидуальными целями обучения. Для особенно длинных видео мы также разработали глобально-локальный входной модуль для балансировки эффективности и эффективности. В результате мы используем LLM для эффективного пространственно-временного моделирования, сохраняя эффективность и стабильность. Обширные экспериментальные результаты подтверждают эффективность нашего метода. Через более лаконичную модель и обучающий конвейер ST-LLM устанавливает новый современный результат на VideoChatGPT-Bench и MVBench. Коды доступны по ссылке https://github.com/TencentARC/ST-LLM.

English

Large Language Models (LLMs) have showcased impressive capabilities in text comprehension and generation, prompting research efforts towards video LLMs to facilitate human-AI interaction at the video level. However, how to effectively encode and understand videos in video-based dialogue systems remains to be solved. In this paper, we investigate a straightforward yet unexplored question: Can we feed all spatial-temporal tokens into the LLM, thus delegating the task of video sequence modeling to the LLMs? Surprisingly, this simple approach yields significant improvements in video understanding. Based upon this, we propose ST-LLM, an effective video-LLM baseline with Spatial-Temporal sequence modeling inside LLM. Furthermore, to address the overhead and stability issues introduced by uncompressed video tokens within LLMs, we develop a dynamic masking strategy with tailor-made training objectives. For particularly long videos, we have also designed a global-local input module to balance efficiency and effectiveness. Consequently, we harness LLM for proficient spatial-temporal modeling, while upholding efficiency and stability. Extensive experimental results attest to the effectiveness of our method. Through a more concise model and training pipeline, ST-LLM establishes a new state-of-the-art result on VideoChatGPT-Bench and MVBench. Codes have been available at https://github.com/TencentARC/ST-LLM.