Ming-Omni : Un modèle multimodal unifié pour la perception et la génération
Ming-Omni: A Unified Multimodal Model for Perception and Generation
June 11, 2025
Auteurs: Inclusion AI, Biao Gong, Cheng Zou, Chuanyang Zheng, Chunluan Zhou, Canxiang Yan, Chunxiang Jin, Chunjie Shen, Dandan Zheng, Fudong Wang, Furong Xu, GuangMing Yao, Jun Zhou, Jingdong Chen, Jianxin Sun, Jiajia Liu, Jianjiang Zhu, Jun Peng, Kaixiang Ji, Kaiyou Song, Kaimeng Ren, Libin Wang, Lixiang Ru, Lele Xie, Longhua Tan, Lyuxin Xue, Lan Wang, Mochen Bai, Ning Gao, Pei Chen, Qingpei Guo, Qinglong Zhang, Qiang Xu, Rui Liu, Ruijie Xiong, Sirui Gao, Tinghao Liu, Taisong Li, Weilong Chai, Xinyu Xiao, Xiaomei Wang, Xiaoxue Chen, Xiao Lu, Xiaoyu Li, Xingning Dong, Xuzheng Yu, Yi Yuan, Yuting Gao, Yunxiao Sun, Yipeng Chen, Yifei Wu, Yongjie Lyu, Ziping Ma, Zipeng Feng, Zhijiang Fang, Zhihao Qiu, Ziyuan Huang, Zhengyu He
cs.AI
Résumé
Nous proposons Ming-Omni, un modèle multimodal unifié capable de traiter des images, du texte, de l’audio et de la vidéo, tout en démontrant une forte compétence dans la génération de parole et d’images. Ming-Omni utilise des encodeurs dédiés pour extraire des tokens à partir de différentes modalités, qui sont ensuite traités par Ling, une architecture MoE équipée de routeurs spécifiques aux modalités nouvellement proposés. Cette conception permet à un seul modèle de traiter et de fusionner efficacement des entrées multimodales dans un cadre unifié, facilitant ainsi diverses tâches sans nécessiter de modèles séparés, de réglage spécifique à la tâche ou de restructuration. De manière significative, Ming-Omni va au-delà des modèles multimodaux conventionnels en prenant en charge la génération d’audio et d’images. Cela est réalisé grâce à l’intégration d’un décodeur audio avancé pour une parole naturelle et de Ming-Lite-Uni pour la génération d’images de haute qualité, ce qui permet également au modèle de participer à des conversations contextuelles, de convertir du texte en parole et de réaliser des modifications d’images polyvalentes. Nos résultats expérimentaux montrent que Ming-Omni offre une solution puissante pour la perception et la génération unifiées à travers toutes les modalités. Notamment, Ming-Omni est le premier modèle open-source à notre connaissance à égaler GPT-4o en termes de support des modalités, et nous publions l’ensemble du code et des poids du modèle pour encourager la recherche et le développement au sein de la communauté.
English
We propose Ming-Omni, a unified multimodal model capable of processing
images, text, audio, and video, while demonstrating strong proficiency in both
speech and image generation. Ming-Omni employs dedicated encoders to extract
tokens from different modalities, which are then processed by Ling, an MoE
architecture equipped with newly proposed modality-specific routers. This
design enables a single model to efficiently process and fuse multimodal inputs
within a unified framework, thereby facilitating diverse tasks without
requiring separate models, task-specific fine-tuning, or structural redesign.
Importantly, Ming-Omni extends beyond conventional multimodal models by
supporting audio and image generation. This is achieved through the integration
of an advanced audio decoder for natural-sounding speech and Ming-Lite-Uni for
high-quality image generation, which also allow the model to engage in
context-aware chatting, perform text-to-speech conversion, and conduct
versatile image editing. Our experimental results showcase Ming-Omni offers a
powerful solution for unified perception and generation across all modalities.
Notably, our proposed Ming-Omni is the first open-source model we are aware of
to match GPT-4o in modality support, and we release all code and model weights
to encourage further research and development in the community.