Multiverse: Ваши языковые модели тайно решают, как распараллелить и объединить генерацию

Multiverse: Your Language Models Secretly Decide How to Parallelize and Merge Generation

June 11, 2025

Авторы: Xinyu Yang, Yuwei An, Hongyi Liu, Tianqi Chen, Beidi Chen

cs.AI

Аннотация

Авторегрессивные большие языковые модели (AR-LLM) часто демонстрируют неявный параллелизм в последовательной генерации. Вдохновленные этим, мы представляем Multiverse — новую генеративную модель, которая обеспечивает изначально параллельную генерацию. Multiverse воплощает парадигму MapReduce, автоматически выполняя генерацию в три этапа: (i) этап Map для адаптивного разложения задачи, (ii) этап Process для параллельного выполнения подзадач и (iii) этап Reduce для безупречного синтеза результатов. Далее мы создаем практическую модель рассуждений Multiverse с совместной разработкой данных, алгоритмов и системы, что позволяет быстро и плавно перейти от передовых AR-LLM. Начиная с последовательных цепочек рассуждений, мы создаем Multiverse 1K, преобразуя их в структурированные обучающие данные с помощью автоматизированного конвейера с использованием LLM, избегая дорогостоящих ручных аннотаций. На уровне алгоритмов мы разрабатываем Multiverse Attention для разделения параллельных шагов рассуждений, сохраняя совместимость с каузальным вниманием для эффективного обучения. На системном уровне мы реализуем Multiverse Engine для обеспечения параллельного вывода. Он включает в себя специальный планировщик, который динамически переключается между последовательной и параллельной генерацией, управляемый непосредственно моделью. После трехчасового тонкого обучения на 1K примеров наша модель Multiverse-32B становится единственной открытой не-AR моделью, демонстрирующей производительность на уровне ведущих AR-LLM аналогичного масштаба, что подтверждается оценками AIME24 и AIME25 в 54% и 46% соответственно. Более того, наши эксперименты по контролю бюджета показывают, что Multiverse-32B обладает превосходной масштабируемостью, превосходя AR-LLM в среднем на 1,87% при той же длине контекста. Такая масштабируемость также приводит к практическому повышению эффективности, обеспечивая ускорение до 2x при различных размерах пакетов. Мы открыли исходный код всей экосистемы Multiverse, включая данные, веса модели, движок, вспомогательные инструменты, а также полные подсказки для курирования данных и подробные инструкции по обучению и оценке.

English

Autoregressive Large Language Models (AR-LLMs) frequently exhibit implicit parallelism in sequential generation. Inspired by this, we introduce Multiverse, a new generative model that enables natively parallel generation. Multiverse internalizes a MapReduce paradigm, generating automatically through three stages: (i) a Map stage for adaptive task decomposition, (ii) a Process stage for parallel subtask execution, and (iii) a Reduce stage for lossless result synthesis. Next, we build a real-world Multiverse reasoning model with co-design of data, algorithm, and system, enabling rapid and seamless transfer from frontier AR-LLMs. Starting from sequential reasoning chains, we create Multiverse 1K by converting them into structured training data using an automated LLM-assisted pipeline, avoiding costly human annotations. Algorithmically, we design Multiverse Attention to separate parallel reasoning steps while keeping compatibility with causal attention for efficient training. Systematically, we implement Multiverse Engine to enable parallel inference. It features a dedicated scheduler that dynamically switches between sequential and parallel generation, triggered directly by the model. After a 3-hour fine-tuning with 1K examples, our Multiverse-32B stands as the only open-sourced non-AR model achieving performance on par with leading AR-LLMs of the same scale, evidenced by AIME24 & 25 scores of 54% and 46%, respectively. Moreover, our budget control experiments show that Multiverse-32B exhibits superior scaling, outperforming AR-LLMs by 1.87% on average using the same context length. Such scaling further leads to practical efficiency gain, achieving up to 2x speedup across varying batch sizes. We have open-sourced the entire Multiverse ecosystem, including data, model weights, engine, supporting tools, as well as complete data curation prompts and detailed training and evaluation recipes.