Quand la combinaison de modèles de langage aide-t-elle ? Un plafond de co-échec sur le routage, le vote et le mélange d'agents à travers 67 modèles de pointe

Résumé

Les systèmes LLM multi-modèles, tels que le routage, le vote, les cascades, la fusion et le mélange d'agents, sont utilisés pour surpasser la précision d'un modèle unique. Nous montrons que leur gain est plafonné par une quantité rarement rapportée dans le domaine. Pour toute politique dont la sortie est la réponse d'un modèle membre, la précision ne peut excéder un moins bêta, où bêta est le taux auquel chaque modèle se trompe sur la même requête. En revanche, le diagnostic habituel, la corrélation d'erreur moyenne par paire ρ, ne peut pas identifier bêta : des lois d'erreur avec des marginales et des corrélations par paires identiques peuvent avoir des taux d'erreur conjointe différents. Une borne de Clopper-Pearson sur bêta fournit un certificat sur échantillon fini du gain maximal que tout routeur, vote ou cascade pourrait apporter avant d'entraîner un routeur. Sur 67 modèles provenant de 21 fournisseurs, un modèle unifactoriel calibré tétrachoriquement sous-estime encore la queue de défaillance collective : en mathématiques ouvertes, β observé est de 0,052 contre 0,023 sous la copule gaussienne complète à 67 modèles, soit une sous-estimation d'environ 2,5 fois, avec un intervalle de confiance à 90 % de 1,7 à 3,4 et k = 17. L'effet se reproduit sur du code évalué par exécution, où β est de 0,079. En reposant les mêmes questions GPQA-Diamond sous forme de réponse libre plutôt qu'à choix multiples, la queue se rouvre, avec β = 0,127 et un panel de cinq juges avec un kappa de 0,73 à 0,92, localisant la défaillance conjointe dans le format de réponse plutôt que dans le sujet. À qualité égale, les ensembles hétérogènes à faible ρ surpassent le Self-MoA à ρ élevé, mais sur les tâches vérifiables de notre ensemble, combiner des modèles bat rarement le meilleur modèle unique sans un fort signal de routage au niveau de la requête. Les gains proviennent de modèles échouant sur des questions différentes, et non de l'ajout de modèles supplémentaires.

English

Multi-model LLM systems such as routing, voting, cascades, fusion, and mixture-of-agents are used to beat single-model accuracy. We show that their gain is capped by a quantity the field rarely reports. For any policy whose output is one member model answer, accuracy cannot exceed one minus beta, where beta is the rate at which every model is wrong on the same query. In contrast, the usual diagnostic, average pairwise error correlation rho, cannot identify beta: error laws with identical marginals and pairwise correlations can have different all-wrong rates. A Clopper-Pearson bound on beta gives a finite-sample certificate on the largest gain any router, vote, or cascade could deliver before training a router. Across 67 models from 21 providers, a tetrachoric-calibrated single-factor model still underprices the all-wrong tail: on open-ended mathematics, observed beta is 0.052 versus 0.023 under the full 67-model Gaussian copula, about 2.5 times underpricing, with 90 percent CI 1.7 to 3.4 and k equals 17. The effect recurs on execution-graded code, where beta is 0.079. Re-asking the same GPQA-Diamond questions in free-response rather than multiple-choice form reopens the tail, with beta 0.127 and a five-judge panel with kappa 0.73 to 0.92, locating co-failure in answer format rather than subject. At matched quality, low-rho heterogeneous ensembles beat high-rho Self-MoA, but on checkable tasks in our pool, combining models rarely beats the single best model without a strong query-level routing signal. Gains come from models failing on different questions, not from adding more models.