LongVILA: Dimensionando Modelos de Linguagem Visual de Longo Contexto para Vídeos Longos

Resumo

A capacidade de longo contexto é fundamental para modelos de base multimodal. Apresentamos o LongVILA, uma solução completa para modelos visão-linguagem de longo contexto, incluindo sistema, treinamento de modelo e desenvolvimento de conjunto de dados. No lado do sistema, introduzimos o primeiro sistema de Paralelismo de Sequência Multi-Modal (MM-SP) que permite treinamento e inferência de longo contexto, possibilitando treinamento com comprimento de contexto de 2M em 256 GPUs. O MM-SP também é eficiente, sendo de 2,1x a 5,7x mais rápido do que o Paralelismo de Sequência Estilo Anel e de 1,1x a 1,4x mais rápido do que o Megatron-LM em configurações apenas de texto. Além disso, ele se integra perfeitamente com os Transformers da Hugging Face. Para o treinamento do modelo, propomos um pipeline de cinco estágios compreendendo alinhamento, pré-treinamento, extensão de contexto e ajuste fino supervisionado conjunto de longo-curto. Em relação aos conjuntos de dados, construímos meticulosamente conjuntos de dados de pré-treinamento visual-linguagem em grande escala e conjuntos de dados de instruções de vídeo longo para apoiar nosso processo de treinamento em múltiplos estágios. A solução completa estende o número de quadros viáveis do VILA por um fator de 128 (de 8 para 1024 quadros) e melhora a pontuação de legenda de vídeo longo de 2,00 para 3,26 (1,6x), alcançando 99,5% de precisão em vídeos de 1400 quadros (comprimento de contexto de 274k) agulha no palheiro. O LongVILA-8B também demonstra uma melhoria consistente no desempenho em vídeos longos dentro do benchmark VideoMME à medida que os quadros de vídeo aumentam.

English

Long-context capability is critical for multi-modal foundation models. We introduce LongVILA, a full-stack solution for long-context vision-language models, including system, model training, and dataset development. On the system side, we introduce the first Multi-Modal Sequence Parallelism (MM-SP) system that enables long-context training and inference, enabling 2M context length training on 256 GPUs. MM-SP is also efficient, being 2.1x - 5.7x faster than Ring-Style Sequence Parallelism and 1.1x - 1.4x faster than Megatron-LM in text-only settings. Moreover, it seamlessly integrates with Hugging Face Transformers. For model training, we propose a five-stage pipeline comprising alignment, pre-training, context extension, and long-short joint supervised fine-tuning. Regarding datasets, we meticulously construct large-scale visual language pre-training datasets and long video instruction-following datasets to support our multi-stage training process. The full-stack solution extends the feasible frame number of VILA by a factor of 128 (from 8 to 1024 frames) and improves long video captioning score from 2.00 to 3.26 (1.6x), achieving 99.5% accuracy in 1400-frames video (274k context length) needle in a haystack. LongVILA-8B also demonstrates a consistent improvement in performance on long videos within the VideoMME benchmark as the video frames increase.

LongVILA: Dimensionando Modelos de Linguagem Visual de Longo Contexto para Vídeos Longos

LongVILA: Scaling Long-Context Visual Language Models for Long Videos

Resumo

Support