VeOmni: Масштабирование обучения моделей для любых модальностей с использованием зоопарка распределенных рецептов, ориентированных на модель

VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo

August 4, 2025

Авторы: Qianli Ma, Yaowei Zheng, Zhelun Shi, Zhongkai Zhao, Bin Jia, Ziyue Huang, Zhiqi Lin, Youjie Li, Jiacheng Yang, Yanghua Peng, Zhi Zhang, Xin Liu

cs.AI

Аннотация

Недавние достижения в области больших языковых моделей (LLM) привели к впечатляющему прогрессу в омни-модальном понимании и генерации. Однако обучение омни-модальных LLM остается значительной проблемой из-за необходимости использования гетерогенных архитектур моделей для обработки различных модальностей, что требует сложного проектирования систем для эффективного масштабного обучения. Существующие фреймворки обычно связывают определение модели с параллельной логикой, что приводит к ограниченной масштабируемости и значительным инженерным затратам для сквозного омни-модального обучения. Мы представляем \veomni, модульный и эффективный фреймворк для ускорения разработки омни-модальных LLM. \veomni предлагает модель-центрированные распределенные рецепты, которые разделяют коммуникацию и вычисления, обеспечивая эффективную 3D-параллельность для омни-модальных LLM. \veomni также включает гибкий интерфейс конфигурации, поддерживающий бесшовную интеграцию новых модальностей с минимальными изменениями кода. С использованием \veomni, омни-модальная модель смеси экспертов (MoE) с 30 миллиардами параметров может быть обучена с пропускной способностью более 2800 токенов/сек/GPU и масштабирована до контекстных длин в 160K токенов с помощью 3D-параллельности на 128 GPU, демонстрируя превосходную эффективность и масштабируемость для обучения крупных омни-модальных LLM.

English

Recent advances in large language models (LLMs) have driven impressive progress in omni-modal understanding and generation. However, training omni-modal LLMs remains a significant challenge due to the heterogeneous model architectures required to process diverse modalities, necessitating sophisticated system design for efficient large-scale training. Existing frameworks typically entangle model definition with parallel logic, incurring limited scalability and substantial engineering overhead for end-to-end omni-modal training. % We present \veomni, a modular and efficient training framework to accelerate the development of omni-modal LLMs. \veomni introduces model-centric distributed recipes that decouples communication from computation, enabling efficient 3D parallelism on omni-modal LLMs. \veomni also features a flexible configuration interface supporting seamless integration of new modalities with minimal code change. % Using \veomni, a omni-modal mixture-of-experts (MoE) model with 30B parameters can be trained with over 2,800 tokens/sec/GPU throughput and scale to 160K context lengths via 3D parallelism on 128 GPUs, showcasing its superior efficiency and scalability for training large omni-modal LLMs.