Ming-Flash-Omni: Разреженная унифицированная архитектура для мультимодального восприятия и генерации

Аннотация

Мы представляем Ming-Flash-Omni — усовершенствованную версию модели Ming-Omni, построенную на основе разреженного варианта архитектуры Mixture-of-Experts (MoE) от Ling-Flash-2.0. Модель насчитывает 100 миллиардов общих параметров, из которых только 6,1 миллиарда активны на каждый токен. Данная архитектура обеспечивает высокоэффективное масштабирование (кардинально повышая вычислительную эффективность при значительном расширении емкости модели) и наделяет систему усиленным унифицированным мультимодальным интеллектом, охватывающим зрение, речь и язык, что представляет собой ключевой шаг на пути к созданию искусственного общего интеллекта (AGI). По сравнению с предшественником, обновленная версия демонстрирует существенное улучшение показателей в области мультимодального понимания и генерации. Мы значительно продвинули возможности распознавания речи, достигнув передовых результатов в контекстном ASR и высококонкурентных показателей в диалектно-ориентированном ASR. В области генерации изображений Ming-Flash-Omni обеспечивает высокоточное воспроизведение текста и демонстрирует значительный прогресс в согласованности сцен и сохранении идентичности при редактировании изображений. Кроме того, модель представляет генеративную сегментацию — функциональность, которая не только достигает высокой самостоятельной производительности в сегментации, но и улучшает пространственный контроль при генерации изображений, повышая согласованность редактирования. Примечательно, что Ming-Flash-Omni устанавливает рекордные результаты в задачах генерации изображений по текстовому описанию и генеративной сегментации, а также устанавливает новые рекорды на всех 12 бенчмарках контекстного ASR — и все это в рамках единой унифицированной архитектуры.

English

We propose Ming-Flash-Omni, an upgraded version of Ming-Omni, built upon a sparser Mixture-of-Experts (MoE) variant of Ling-Flash-2.0 with 100 billion total parameters, of which only 6.1 billion are active per token. This architecture enables highly efficient scaling (dramatically improving computational efficiency while significantly expanding model capacity) and empowers stronger unified multimodal intelligence across vision, speech, and language, representing a key step toward Artificial General Intelligence (AGI). Compared to its predecessor, the upgraded version exhibits substantial improvements across multimodal understanding and generation. We significantly advance speech recognition capabilities, achieving state-of-the-art performance in contextual ASR and highly competitive results in dialect-aware ASR. In image generation, Ming-Flash-Omni introduces high-fidelity text rendering and demonstrates marked gains in scene consistency and identity preservation during image editing. Furthermore, Ming-Flash-Omni introduces generative segmentation, a capability that not only achieves strong standalone segmentation performance but also enhances spatial control in image generation and improves editing consistency. Notably, Ming-Flash-Omni achieves state-of-the-art results in text-to-image generation and generative segmentation, and sets new records on all 12 contextual ASR benchmarks, all within a single unified architecture.

Ming-Flash-Omni: Разреженная унифицированная архитектура для мультимодального восприятия и генерации

Ming-Flash-Omni: A Sparse, Unified Architecture for Multimodal Perception and Generation

Аннотация

Support