VeOmni: Scalabilità dell'Addestramento di Modelli per Qualsiasi Modalità con una Raccolta Distribuita di Ricette Centrate sul Modello

VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo

August 4, 2025

Autori: Qianli Ma, Yaowei Zheng, Zhelun Shi, Zhongkai Zhao, Bin Jia, Ziyue Huang, Zhiqi Lin, Youjie Li, Jiacheng Yang, Yanghua Peng, Zhi Zhang, Xin Liu

cs.AI

Abstract

I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) hanno guidato un notevole avanzamento nella comprensione e generazione omni-modale. Tuttavia, l'addestramento di LLM omni-modali rimane una sfida significativa a causa delle architetture eterogenee richieste per elaborare diverse modalità, che necessitano di un design di sistema sofisticato per un addestramento su larga scala efficiente. I framework esistenti tipicamente intrecciano la definizione del modello con la logica parallela, comportando una scalabilità limitata e un notevole sovraccarico ingegneristico per l'addestramento end-to-end omni-modale. % Presentiamo \veomni, un framework di addestramento modulare ed efficiente per accelerare lo sviluppo di LLM omni-modali. \veomni introduce ricette distribuite centrate sul modello che disaccoppiano la comunicazione dal calcolo, abilitando un'efficiente parallelismo 3D su LLM omni-modali. \veomni include anche un'interfaccia di configurazione flessibile che supporta l'integrazione senza soluzione di continuità di nuove modalità con modifiche minime al codice. % Utilizzando \veomni, un modello omni-modale mixture-of-experts (MoE) con 30 miliardi di parametri può essere addestrato con una velocità di oltre 2.800 token/sec/GPU e scalare fino a lunghezze di contesto di 160K tramite parallelismo 3D su 128 GPU, dimostrando la sua superiore efficienza e scalabilità per l'addestramento di grandi LLM omni-modali.

English

Recent advances in large language models (LLMs) have driven impressive progress in omni-modal understanding and generation. However, training omni-modal LLMs remains a significant challenge due to the heterogeneous model architectures required to process diverse modalities, necessitating sophisticated system design for efficient large-scale training. Existing frameworks typically entangle model definition with parallel logic, incurring limited scalability and substantial engineering overhead for end-to-end omni-modal training. % We present \veomni, a modular and efficient training framework to accelerate the development of omni-modal LLMs. \veomni introduces model-centric distributed recipes that decouples communication from computation, enabling efficient 3D parallelism on omni-modal LLMs. \veomni also features a flexible configuration interface supporting seamless integration of new modalities with minimal code change. % Using \veomni, a omni-modal mixture-of-experts (MoE) model with 30B parameters can be trained with over 2,800 tokens/sec/GPU throughput and scale to 160K context lengths via 3D parallelism on 128 GPUs, showcasing its superior efficiency and scalability for training large omni-modal LLMs.