LongVILA : Mise à l'échelle de modèles de langage visuel à contexte long pour les vidéos longues

LongVILA: Scaling Long-Context Visual Language Models for Long Videos

August 19, 2024

Auteurs: Fuzhao Xue, Yukang Chen, Dacheng Li, Qinghao Hu, Ligeng Zhu, Xiuyu Li, Yunhao Fang, Haotian Tang, Shang Yang, Zhijian Liu, Ethan He, Hongxu Yin, Pavlo Molchanov, Jan Kautz, Linxi Fan, Yuke Zhu, Yao Lu, Song Han

cs.AI

Résumé

La capacité à gérer des contextes longs est cruciale pour les modèles fondateurs multimodaux. Nous présentons LongVILA, une solution complète pour les modèles vision-langage à contexte long, incluant le système, l'entraînement du modèle et le développement des jeux de données. Du côté système, nous introduisons le premier système de parallélisme de séquence multimodale (MM-SP) qui permet l'entraînement et l'inférence sur des contextes longs, permettant un entraînement sur des contextes de 2 millions de tokens sur 256 GPU. MM-SP est également efficace, étant 2,1 à 5,7 fois plus rapide que le parallélisme de séquence de type Ring et 1,1 à 1,4 fois plus rapide que Megatron-LM dans des configurations texte uniquement. De plus, il s'intègre parfaitement avec Hugging Face Transformers. Pour l'entraînement du modèle, nous proposons un pipeline en cinq étapes comprenant l'alignement, le pré-entraînement, l'extension du contexte et le réglage fin supervisé conjoint court-long. Concernant les jeux de données, nous construisons méticuleusement des jeux de données de pré-entraînement visuel-langage à grande échelle et des jeux de données de suivi d'instructions sur des vidéos longues pour soutenir notre processus d'entraînement en plusieurs étapes. La solution complète étend le nombre de trames réalisables de VILA par un facteur de 128 (de 8 à 1024 trames) et améliore le score de description de vidéos longues de 2,00 à 3,26 (1,6 fois), atteignant une précision de 99,5 % dans une vidéo de 1400 trames (longueur de contexte de 274k tokens) pour la tâche "aiguille dans une botte de foin". LongVILA-8B montre également une amélioration constante des performances sur les vidéos longues dans le benchmark VideoMME à mesure que le nombre de trames augmente.

English

Long-context capability is critical for multi-modal foundation models. We introduce LongVILA, a full-stack solution for long-context vision-language models, including system, model training, and dataset development. On the system side, we introduce the first Multi-Modal Sequence Parallelism (MM-SP) system that enables long-context training and inference, enabling 2M context length training on 256 GPUs. MM-SP is also efficient, being 2.1x - 5.7x faster than Ring-Style Sequence Parallelism and 1.1x - 1.4x faster than Megatron-LM in text-only settings. Moreover, it seamlessly integrates with Hugging Face Transformers. For model training, we propose a five-stage pipeline comprising alignment, pre-training, context extension, and long-short joint supervised fine-tuning. Regarding datasets, we meticulously construct large-scale visual language pre-training datasets and long video instruction-following datasets to support our multi-stage training process. The full-stack solution extends the feasible frame number of VILA by a factor of 128 (from 8 to 1024 frames) and improves long video captioning score from 2.00 to 3.26 (1.6x), achieving 99.5% accuracy in 1400-frames video (274k context length) needle in a haystack. LongVILA-8B also demonstrates a consistent improvement in performance on long videos within the VideoMME benchmark as the video frames increase.