Ming-Flash-Omni: Uma Arquitetura Esparsa e Unificada para Percepção e Geração Multimodal

Ming-Flash-Omni: A Sparse, Unified Architecture for Multimodal Perception and Generation

October 28, 2025

Autores: Inclusion AI, Bowen Ma, Cheng Zou, Canxiang Yan, Chunxiang Jin, Chunjie Shen, Dandan Zheng, Fudong Wang, Furong Xu, GuangMing Yao, Jun Zhou, Jingdong Chen, Jianing Li, Jianxin Sun, Jiajia Liu, Jianjiang Zhu, Jianping Jiang, Jun Peng, Kaixiang Ji, Kaimeng Ren, Libin Wang, Lixiang Ru, Longhua Tan, Lan Wang, Mochen Bai, Ning Gao, Qingpei Guo, Qinglong Zhang, Qiang Xu, Rui Liu, Ruijie Xiong, Ruobing Zheng, Sirui Gao, Tianqi Li, Tinghao Liu, Weilong Chai, Xinyu Xiao, Xiaomei Wang, Xiaolong Wang, Xiao Lu, Xiaoyu Li, Xingning Dong, Xuzheng Yu, Yi Yuan, Yuting Gao, Yuting Xiao, Yunxiao Sun, Yipeng Chen, Yifan Mao, Yifei Wu, Yongjie Lyu, Ziping Ma, Zhiqiang Fang, Zhihao Qiu, Ziyuan Huang, Zizheng Yang, Zhengyu He

cs.AI

Resumo

Propomos o Ming-Flash-Omni, uma versão atualizada do Ming-Omni, construída sobre uma variante mais esparsa de Mixture-of-Experts (MoE) do Ling-Flash-2.0, com um total de 100 bilhões de parâmetros, dos quais apenas 6,1 bilhões estão ativos por token. Esta arquitetura permite uma escalagem altamente eficiente (melhorando drasticamente a eficiência computacional enquanto expande significativamente a capacidade do modelo) e capacita uma inteligência multimodal unificada mais forte através de visão, fala e linguagem, representando um passo fundamental rumo à Inteligência Artificial Geral (IAG). Em comparação com sua predecessora, a versão atualizada exibe melhorias substanciais em compreensão e geração multimodal. Avançamos significativamente as capacidades de reconhecimento de fala, alcançando desempenho de ponta em ASR contextual e resultados altamente competitivos em ASR consciente de dialetos. Na geração de imagens, o Ming-Flash-Omni introduz renderização de texto de alta fidelidade e demonstra ganhos marcantes na consistência de cena e preservação de identidade durante a edição de imagem. Além disso, o Ming-Flash-Omni introduz a segmentação generativa, uma capacidade que não só alcança forte desempenho de segmentação autónomo, mas também melhora o controle espacial na geração de imagens e aumenta a consistência da edição. Notavelmente, o Ming-Flash-Omni alcança resultados de ponta em geração de texto para imagem e segmentação generativa, e estabelece novos recordes em todos os 12 benchmarks de ASR contextual, tudo dentro de uma única arquitetura unificada.

English

We propose Ming-Flash-Omni, an upgraded version of Ming-Omni, built upon a sparser Mixture-of-Experts (MoE) variant of Ling-Flash-2.0 with 100 billion total parameters, of which only 6.1 billion are active per token. This architecture enables highly efficient scaling (dramatically improving computational efficiency while significantly expanding model capacity) and empowers stronger unified multimodal intelligence across vision, speech, and language, representing a key step toward Artificial General Intelligence (AGI). Compared to its predecessor, the upgraded version exhibits substantial improvements across multimodal understanding and generation. We significantly advance speech recognition capabilities, achieving state-of-the-art performance in contextual ASR and highly competitive results in dialect-aware ASR. In image generation, Ming-Flash-Omni introduces high-fidelity text rendering and demonstrates marked gains in scene consistency and identity preservation during image editing. Furthermore, Ming-Flash-Omni introduces generative segmentation, a capability that not only achieves strong standalone segmentation performance but also enhances spatial control in image generation and improves editing consistency. Notably, Ming-Flash-Omni achieves state-of-the-art results in text-to-image generation and generative segmentation, and sets new records on all 12 contextual ASR benchmarks, all within a single unified architecture.