Multiversum: Ihre Sprachmodelle entscheiden im Geheimen, wie sie die Generierung parallelisieren und zusammenführen

Multiverse: Your Language Models Secretly Decide How to Parallelize and Merge Generation

June 11, 2025

Autoren: Xinyu Yang, Yuwei An, Hongyi Liu, Tianqi Chen, Beidi Chen

cs.AI

Zusammenfassung

Autoregressive Large Language Models (AR-LLMs) zeigen häufig implizite Parallelität bei der sequenziellen Generierung. Inspiriert davon stellen wir Multiverse vor, ein neues generatives Modell, das native parallele Generierung ermöglicht. Multiverse internalisiert ein MapReduce-Paradigma und generiert automatisch in drei Phasen: (i) eine Map-Phase für adaptive Aufgabenzerlegung, (ii) eine Process-Phase für parallele Ausführung von Teilaufgaben und (iii) eine Reduce-Phase für verlustfreie Ergebnissynthese. Anschließend entwickeln wir ein reales Multiverse-Reasoning-Modell mit Co-Design von Daten, Algorithmus und System, das einen schnellen und nahtlosen Transfer von führenden AR-LLMs ermöglicht. Ausgehend von sequenziellen Reasoning-Ketten erstellen wir Multiverse 1K, indem wir diese mithilfe einer automatisierten, LLM-unterstützten Pipeline in strukturierte Trainingsdaten umwandeln und so kostspielige menschliche Annotationen vermeiden. Algorithmisch entwerfen wir Multiverse Attention, um parallele Reasoning-Schritte zu trennen, während die Kompatibilität mit kausaler Attention für effizientes Training erhalten bleibt. Systematisch implementieren wir die Multiverse Engine, um parallele Inferenz zu ermöglichen. Sie verfügt über einen dedizierten Scheduler, der dynamisch zwischen sequenzieller und paralleler Generierung wechselt, direkt durch das Modell ausgelöst. Nach einem 3-stündigen Fine-Tuning mit 1K Beispielen steht unser Multiverse-32B als das einzige Open-Source-Nicht-AR-Modell da, das eine Leistung auf Augenhöhe mit führenden AR-LLMs gleicher Größe erreicht, belegt durch AIME24- und AIME25-Werte von 54 % bzw. 46 %. Darüber hinaus zeigen unsere Budgetkontroll-Experimente, dass Multiverse-32B eine überlegene Skalierung aufweist und AR-LLMs im Durchschnitt um 1,87 % bei gleicher Kontextlänge übertrifft. Diese Skalierung führt weiterhin zu praktischen Effizienzgewinnen, mit einer Beschleunigung von bis zu 2x über verschiedene Batch-Größen hinweg. Wir haben das gesamte Multiverse-Ökosystem Open-Source zur Verfügung gestellt, einschließlich Daten, Modellgewichten, Engine, unterstützenden Tools sowie vollständigen Datenkuratierungs-Prompts und detaillierten Trainings- und Evaluierungsrezepten.

English

Autoregressive Large Language Models (AR-LLMs) frequently exhibit implicit parallelism in sequential generation. Inspired by this, we introduce Multiverse, a new generative model that enables natively parallel generation. Multiverse internalizes a MapReduce paradigm, generating automatically through three stages: (i) a Map stage for adaptive task decomposition, (ii) a Process stage for parallel subtask execution, and (iii) a Reduce stage for lossless result synthesis. Next, we build a real-world Multiverse reasoning model with co-design of data, algorithm, and system, enabling rapid and seamless transfer from frontier AR-LLMs. Starting from sequential reasoning chains, we create Multiverse 1K by converting them into structured training data using an automated LLM-assisted pipeline, avoiding costly human annotations. Algorithmically, we design Multiverse Attention to separate parallel reasoning steps while keeping compatibility with causal attention for efficient training. Systematically, we implement Multiverse Engine to enable parallel inference. It features a dedicated scheduler that dynamically switches between sequential and parallel generation, triggered directly by the model. After a 3-hour fine-tuning with 1K examples, our Multiverse-32B stands as the only open-sourced non-AR model achieving performance on par with leading AR-LLMs of the same scale, evidenced by AIME24 & 25 scores of 54% and 46%, respectively. Moreover, our budget control experiments show that Multiverse-32B exhibits superior scaling, outperforming AR-LLMs by 1.87% on average using the same context length. Such scaling further leads to practical efficiency gain, achieving up to 2x speedup across varying batch sizes. We have open-sourced the entire Multiverse ecosystem, including data, model weights, engine, supporting tools, as well as complete data curation prompts and detailed training and evaluation recipes.