LongVILA: Escalando modelos de lenguaje visual de largo contexto para videos largos

LongVILA: Scaling Long-Context Visual Language Models for Long Videos

August 19, 2024

Autores: Fuzhao Xue, Yukang Chen, Dacheng Li, Qinghao Hu, Ligeng Zhu, Xiuyu Li, Yunhao Fang, Haotian Tang, Shang Yang, Zhijian Liu, Ethan He, Hongxu Yin, Pavlo Molchanov, Jan Kautz, Linxi Fan, Yuke Zhu, Yao Lu, Song Han

cs.AI

Resumen

La capacidad de contexto largo es fundamental para los modelos de base multi-modal. Presentamos LongVILA, una solución integral para modelos visión-lenguaje de largo contexto, que incluye sistema, entrenamiento de modelos y desarrollo de conjuntos de datos. En el lado del sistema, introducimos el primer sistema de Paralelismo de Secuencia Multi-Modal (MM-SP) que permite el entrenamiento e inferencia de largo contexto, posibilitando un entrenamiento de longitud de contexto de 2M en 256 GPUs. MM-SP también es eficiente, siendo de 2.1x a 5.7x más rápido que el Paralelismo de Secuencia Estilo Anillo y de 1.1x a 1.4x más rápido que Megatron-LM en configuraciones solo de texto. Además, se integra perfectamente con Hugging Face Transformers. Para el entrenamiento del modelo, proponemos un pipeline de cinco etapas que comprende alineación, pre-entrenamiento, extensión de contexto y ajuste fino supervisado conjunto largo-corto. En cuanto a los conjuntos de datos, construimos meticulosamente conjuntos de datos de pre-entrenamiento visual-lingüístico a gran escala y conjuntos de datos de seguimiento de instrucciones en video largo para respaldar nuestro proceso de entrenamiento en múltiples etapas. La solución integral amplía el número de cuadros factible de VILA en un factor de 128 (de 8 a 1024 cuadros) y mejora la puntuación de subtitulación de video largo de 2.00 a 3.26 (1.6x), logrando un 99.5% de precisión en un video de 1400 cuadros (longitud de contexto de 274k) aguja en un pajar. LongVILA-8B también demuestra una mejora consistente en el rendimiento en videos largos dentro del benchmark VideoMME a medida que aumentan los cuadros de video.

English

Long-context capability is critical for multi-modal foundation models. We introduce LongVILA, a full-stack solution for long-context vision-language models, including system, model training, and dataset development. On the system side, we introduce the first Multi-Modal Sequence Parallelism (MM-SP) system that enables long-context training and inference, enabling 2M context length training on 256 GPUs. MM-SP is also efficient, being 2.1x - 5.7x faster than Ring-Style Sequence Parallelism and 1.1x - 1.4x faster than Megatron-LM in text-only settings. Moreover, it seamlessly integrates with Hugging Face Transformers. For model training, we propose a five-stage pipeline comprising alignment, pre-training, context extension, and long-short joint supervised fine-tuning. Regarding datasets, we meticulously construct large-scale visual language pre-training datasets and long video instruction-following datasets to support our multi-stage training process. The full-stack solution extends the feasible frame number of VILA by a factor of 128 (from 8 to 1024 frames) and improves long video captioning score from 2.00 to 3.26 (1.6x), achieving 99.5% accuracy in 1400-frames video (274k context length) needle in a haystack. LongVILA-8B also demonstrates a consistent improvement in performance on long videos within the VideoMME benchmark as the video frames increase.