LongVILA: Масштабирование моделей длинного контекста визуального языка для длинных видеороликов

LongVILA: Scaling Long-Context Visual Language Models for Long Videos

August 19, 2024

Авторы: Fuzhao Xue, Yukang Chen, Dacheng Li, Qinghao Hu, Ligeng Zhu, Xiuyu Li, Yunhao Fang, Haotian Tang, Shang Yang, Zhijian Liu, Ethan He, Hongxu Yin, Pavlo Molchanov, Jan Kautz, Linxi Fan, Yuke Zhu, Yao Lu, Song Han

cs.AI

Аннотация

Для много-модальных базовых моделей критически важна способность к работе с длинным контекстом. Мы представляем LongVILA - комплексное решение для моделей видео-языкового восприятия с длинным контекстом, включающее систему, обучение модели и разработку набора данных. На уровне системы мы представляем первую систему многомодальной последовательной параллелизации (MM-SP), позволяющую обучение и вывод с длинным контекстом, обеспечивая обучение с длиной контекста 2M на 256 графических процессорах. MM-SP также эффективен, работая со скоростью 2,1-5,7 раз быстрее, чем последовательная параллелизация в стиле кольца, и 1,1-1,4 раза быстрее, чем Megatron-LM в настройках только текста. Более того, он легко интегрируется с Hugging Face Transformers. Для обучения модели мы предлагаем пятиэтапный конвейер, включающий выравнивание, предварительное обучение, расширение контекста и совместное обучение с длинным и коротким контекстом. Что касается наборов данных, мы тщательно создаем масштабные наборы данных для предварительного обучения визуально-языковых моделей и длинных наборов данных для следования инструкциям в видео, чтобы поддержать наш многоэтапный процесс обучения. Комплексное решение увеличивает возможное количество кадров VILA в 128 раз (с 8 до 1024 кадров) и повышает оценку длинного видеоописания с 2,00 до 3,26 (1,6 раза), достигая точности 99,5% в видео на 1400 кадров (длина контекста 274 тыс. символов) "иголка в стоге сена". LongVILA-8B также демонстрирует последовательное улучшение производительности на длинных видео в рамках бенчмарка VideoMME по мере увеличения количества кадров видео.

English

Long-context capability is critical for multi-modal foundation models. We introduce LongVILA, a full-stack solution for long-context vision-language models, including system, model training, and dataset development. On the system side, we introduce the first Multi-Modal Sequence Parallelism (MM-SP) system that enables long-context training and inference, enabling 2M context length training on 256 GPUs. MM-SP is also efficient, being 2.1x - 5.7x faster than Ring-Style Sequence Parallelism and 1.1x - 1.4x faster than Megatron-LM in text-only settings. Moreover, it seamlessly integrates with Hugging Face Transformers. For model training, we propose a five-stage pipeline comprising alignment, pre-training, context extension, and long-short joint supervised fine-tuning. Regarding datasets, we meticulously construct large-scale visual language pre-training datasets and long video instruction-following datasets to support our multi-stage training process. The full-stack solution extends the feasible frame number of VILA by a factor of 128 (from 8 to 1024 frames) and improves long video captioning score from 2.00 to 3.26 (1.6x), achieving 99.5% accuracy in 1400-frames video (274k context length) needle in a haystack. LongVILA-8B also demonstrates a consistent improvement in performance on long videos within the VideoMME benchmark as the video frames increase.