Multivers : Vos modèles de langage décident secrètement comment paralléliser et fusionner la génération

Multiverse: Your Language Models Secretly Decide How to Parallelize and Merge Generation

June 11, 2025

Auteurs: Xinyu Yang, Yuwei An, Hongyi Liu, Tianqi Chen, Beidi Chen

cs.AI

Résumé

Les modèles de langage autoregressifs à grande échelle (AR-LLMs) présentent fréquemment un parallélisme implicite dans la génération séquentielle. Inspirés par cela, nous introduisons Multiverse, un nouveau modèle génératif permettant une génération parallèle native. Multiverse internalise un paradigme MapReduce, générant automatiquement en trois étapes : (i) une étape Map pour la décomposition adaptative des tâches, (ii) une étape Process pour l'exécution parallèle des sous-tâches, et (iii) une étape Reduce pour la synthèse sans perte des résultats. Ensuite, nous construisons un modèle de raisonnement Multiverse dans le monde réel avec une co-conception des données, de l'algorithme et du système, permettant un transfert rapide et fluide depuis les AR-LLMs de pointe. Partant de chaînes de raisonnement séquentielles, nous créons Multiverse 1K en les convertissant en données d'entraînement structurées à l'aide d'un pipeline automatisé assisté par LLM, évitant ainsi les annotations humaines coûteuses. Sur le plan algorithmique, nous concevons Multiverse Attention pour séparer les étapes de raisonnement parallèles tout en maintenant la compatibilité avec l'attention causale pour un entraînement efficace. Systématiquement, nous implémentons Multiverse Engine pour permettre une inférence parallèle. Il dispose d'un planificateur dédié qui bascule dynamiquement entre la génération séquentielle et parallèle, déclenché directement par le modèle. Après un fine-tuning de 3 heures avec 1 000 exemples, notre Multiverse-32B se positionne comme le seul modèle non-AR open-source atteignant des performances comparables aux AR-LLMs leaders de la même échelle, comme en témoignent les scores AIME24 et 25 de 54 % et 46 %, respectivement. De plus, nos expériences de contrôle budgétaire montrent que Multiverse-32B présente une mise à l'échelle supérieure, surpassant les AR-LLMs de 1,87 % en moyenne avec la même longueur de contexte. Une telle mise à l'échelle conduit également à un gain d'efficacité pratique, atteignant jusqu'à 2x d'accélération pour différentes tailles de lots. Nous avons open-sourcé l'écosystème Multiverse entier, incluant les données, les poids du modèle, le moteur, les outils de support, ainsi que les prompts complets de curation des données et les recettes détaillées d'entraînement et d'évaluation.

English

Autoregressive Large Language Models (AR-LLMs) frequently exhibit implicit parallelism in sequential generation. Inspired by this, we introduce Multiverse, a new generative model that enables natively parallel generation. Multiverse internalizes a MapReduce paradigm, generating automatically through three stages: (i) a Map stage for adaptive task decomposition, (ii) a Process stage for parallel subtask execution, and (iii) a Reduce stage for lossless result synthesis. Next, we build a real-world Multiverse reasoning model with co-design of data, algorithm, and system, enabling rapid and seamless transfer from frontier AR-LLMs. Starting from sequential reasoning chains, we create Multiverse 1K by converting them into structured training data using an automated LLM-assisted pipeline, avoiding costly human annotations. Algorithmically, we design Multiverse Attention to separate parallel reasoning steps while keeping compatibility with causal attention for efficient training. Systematically, we implement Multiverse Engine to enable parallel inference. It features a dedicated scheduler that dynamically switches between sequential and parallel generation, triggered directly by the model. After a 3-hour fine-tuning with 1K examples, our Multiverse-32B stands as the only open-sourced non-AR model achieving performance on par with leading AR-LLMs of the same scale, evidenced by AIME24 & 25 scores of 54% and 46%, respectively. Moreover, our budget control experiments show that Multiverse-32B exhibits superior scaling, outperforming AR-LLMs by 1.87% on average using the same context length. Such scaling further leads to practical efficiency gain, achieving up to 2x speedup across varying batch sizes. We have open-sourced the entire Multiverse ecosystem, including data, model weights, engine, supporting tools, as well as complete data curation prompts and detailed training and evaluation recipes.