Ming-Omni: Унифицированная мультимодальная модель для восприятия и генерации
Ming-Omni: A Unified Multimodal Model for Perception and Generation
June 11, 2025
Авторы: Inclusion AI, Biao Gong, Cheng Zou, Chuanyang Zheng, Chunluan Zhou, Canxiang Yan, Chunxiang Jin, Chunjie Shen, Dandan Zheng, Fudong Wang, Furong Xu, GuangMing Yao, Jun Zhou, Jingdong Chen, Jianxin Sun, Jiajia Liu, Jianjiang Zhu, Jun Peng, Kaixiang Ji, Kaiyou Song, Kaimeng Ren, Libin Wang, Lixiang Ru, Lele Xie, Longhua Tan, Lyuxin Xue, Lan Wang, Mochen Bai, Ning Gao, Pei Chen, Qingpei Guo, Qinglong Zhang, Qiang Xu, Rui Liu, Ruijie Xiong, Sirui Gao, Tinghao Liu, Taisong Li, Weilong Chai, Xinyu Xiao, Xiaomei Wang, Xiaoxue Chen, Xiao Lu, Xiaoyu Li, Xingning Dong, Xuzheng Yu, Yi Yuan, Yuting Gao, Yunxiao Sun, Yipeng Chen, Yifei Wu, Yongjie Lyu, Ziping Ma, Zipeng Feng, Zhijiang Fang, Zhihao Qiu, Ziyuan Huang, Zhengyu He
cs.AI
Аннотация
Мы представляем Ming-Omni, унифицированную мультимодальную модель, способную обрабатывать изображения, текст, аудио и видео, демонстрируя при этом высокую эффективность как в генерации речи, так и изображений. Ming-Omni использует специализированные энкодеры для извлечения токенов из различных модальностей, которые затем обрабатываются архитектурой Ling, основанной на подходе Mixture of Experts (MoE) и оснащенной новыми маршрутизаторами, специфичными для каждой модальности. Такая конструкция позволяет одной модели эффективно обрабатывать и объединять мультимодальные входные данные в рамках единой структуры, что способствует выполнению разнообразных задач без необходимости использования отдельных моделей, специфичной донастройки для каждой задачи или перепроектирования архитектуры. Важно отметить, что Ming-Omni выходит за рамки традиционных мультимодальных моделей, поддерживая генерацию аудио и изображений. Это достигается за счет интеграции продвинутого аудиодекодера для создания естественно звучащей речи и Ming-Lite-Uni для генерации высококачественных изображений, что также позволяет модели участвовать в контекстно-зависимых диалогах, выполнять преобразование текста в речь и осуществлять разнообразное редактирование изображений. Наши экспериментальные результаты демонстрируют, что Ming-Omni предлагает мощное решение для унифицированного восприятия и генерации во всех модальностях. Примечательно, что предложенная нами Ming-Omni является первой открытой моделью, которая, насколько нам известно, соответствует GPT-4o по поддержке модальностей, и мы публикуем весь код и веса модели, чтобы стимулировать дальнейшие исследования и разработки в сообществе.
English
We propose Ming-Omni, a unified multimodal model capable of processing
images, text, audio, and video, while demonstrating strong proficiency in both
speech and image generation. Ming-Omni employs dedicated encoders to extract
tokens from different modalities, which are then processed by Ling, an MoE
architecture equipped with newly proposed modality-specific routers. This
design enables a single model to efficiently process and fuse multimodal inputs
within a unified framework, thereby facilitating diverse tasks without
requiring separate models, task-specific fine-tuning, or structural redesign.
Importantly, Ming-Omni extends beyond conventional multimodal models by
supporting audio and image generation. This is achieved through the integration
of an advanced audio decoder for natural-sounding speech and Ming-Lite-Uni for
high-quality image generation, which also allow the model to engage in
context-aware chatting, perform text-to-speech conversion, and conduct
versatile image editing. Our experimental results showcase Ming-Omni offers a
powerful solution for unified perception and generation across all modalities.
Notably, our proposed Ming-Omni is the first open-source model we are aware of
to match GPT-4o in modality support, and we release all code and model weights
to encourage further research and development in the community.