Les ensembles d'accès comptent : budgétisation des lectures d'experts pour une fusion de modèles évolutive dans l'espace des poids

Résumé

La fusion de modèles dans l'espace des poids est généralement formulée comme une opération algébrique sur les points de contrôle, mais à l'échelle des LLM, la ressource limitante est souvent l'ensemble des poids d'experts qui doivent être lus. Nous présentons MergePipe, une couche d'exécution tenant compte du budget qui reformule la fusion des LLM comme un problème d'ensemble d'accès aux experts : étant donné un opérateur de fusion et une famille de points de contrôle dans un système de coordonnées de poids partagé, choisir quels blocs delta d'experts accéder sous un budget d'E/S explicite. MergePipe indexe les blocs de paramètres, construit des plans d'accès déterministes et exécute la fusion budgétisée induite avec des manifestes reproductibles. Le plan est budgétairement correct par construction et retrouve la fusion par lecture complète au budget maximal ; pour les opérateurs additifs à coefficients fixes, l'erreur de mise à jour omise est bornée par la norme des deltas omis. Sur des charges de travail de fusion de Qwen et Llama, MergePipe réduit les E/S de lecture d'experts jusqu'à un ordre de grandeur et atteint des accélérations allant jusqu'à 11 fois. Des balayages de budget représentatifs montrent une déviation des paramètres de l'ordre de 10^{-3} par rapport aux fusions par lecture complète et aucune dégradation monotone sur les benchmarks en aval.

English

Weight-space model merging is usually formulated as an algebraic operation on checkpoints, yet at LLM scale the limiting resource is often the set of expert weights that must be read. We introduce MergePipe, a budget-aware execution layer that casts LLM merging as an expert access-set problem: given a merge operator and a checkpoint family in a shared weight coordinate system, choose which expert delta blocks to access under an explicit I/O budget. MergePipe indexes parameter blocks, builds deterministic access plans, and executes the induced budgeted merge with replayable manifests. The plan is budget-sound by construction and recovers the full-read merge at full budget; for fixed-coefficient additive operators, the omitted-update error is bounded by the norm of omitted deltas. Across Qwen and Llama merging workloads, MergePipe reduces expert-read I/O by up to an order of magnitude and achieves up to 11times speedups. Representative budget sweeps show O(10^{-3}) parameter deviation from full-read merges and no monotonic degradation on downstream benchmarks.