Ming-Flash-Omni : Une architecture éparse et unifiée pour la perception et la génération multimodales

papers.abstract

Nous proposons Ming-Flash-Omni, une version améliorée de Ming-Omni, basée sur une variante plus éparse de Mixture-of-Experts (MoE) de Ling-Flash-2.0, totalisant 100 milliards de paramètres, dont seulement 6,1 milliards sont actifs par token. Cette architecture permet une mise à l'échelle hautement efficace (améliorant considérablement l'efficacité computationnelle tout en élargissant significativement la capacité du modèle) et renforce une intelligence multimodale unifiée plus performante couvrant la vision, la parole et le langage, représentant une étape clé vers l'Intelligence Artificielle Générale (IAG). Comparée à son prédécesseur, la version améliorée présente des progrès substantiels dans la compréhension et la génération multimodales. Nous améliorons significativement les capacités de reconnaissance vocale, atteignant des performances de pointe en reconnaissance vocale automatique (ASR) contextuelle et des résultats très compétitifs en ASR tenant compte des dialectes. En génération d'images, Ming-Flash-Omni introduit un rendu de texte haute fidélité et démontre des gains marqués en cohérence scénique et préservation de l'identité lors de l'édition d'images. De plus, Ming-Flash-Omni introduit la segmentation générative, une capacité qui non seulement atteint de solides performances de segmentation autonome, mais améliore également le contrôle spatial dans la génération d'images et renforce la cohérence de l'édition. Notamment, Ming-Flash-Omni obtient des résultats de pointe en génération d'images à partir de texte et en segmentation générative, et établit de nouveaux records sur les 12 benchmarks d'ASR contextuel, le tout au sein d'une architecture unifiée unique.

English

We propose Ming-Flash-Omni, an upgraded version of Ming-Omni, built upon a sparser Mixture-of-Experts (MoE) variant of Ling-Flash-2.0 with 100 billion total parameters, of which only 6.1 billion are active per token. This architecture enables highly efficient scaling (dramatically improving computational efficiency while significantly expanding model capacity) and empowers stronger unified multimodal intelligence across vision, speech, and language, representing a key step toward Artificial General Intelligence (AGI). Compared to its predecessor, the upgraded version exhibits substantial improvements across multimodal understanding and generation. We significantly advance speech recognition capabilities, achieving state-of-the-art performance in contextual ASR and highly competitive results in dialect-aware ASR. In image generation, Ming-Flash-Omni introduces high-fidelity text rendering and demonstrates marked gains in scene consistency and identity preservation during image editing. Furthermore, Ming-Flash-Omni introduces generative segmentation, a capability that not only achieves strong standalone segmentation performance but also enhances spatial control in image generation and improves editing consistency. Notably, Ming-Flash-Omni achieves state-of-the-art results in text-to-image generation and generative segmentation, and sets new records on all 12 contextual ASR benchmarks, all within a single unified architecture.

Ming-Flash-Omni : Une architecture éparse et unifiée pour la perception et la génération multimodales

Ming-Flash-Omni: A Sparse, Unified Architecture for Multimodal Perception and Generation

papers.abstract

Support