Wann hilft die Kombination von Sprachmodellen? Eine Kofehler-Obergrenze bei Routing, Voting und Mixture-of-Agents über 67 Frontier-Modelle hinweg

Zusammenfassung

Multi-Modell-LLM-Systeme wie Routing, Voting, Kaskaden, Fusion und Mixture-of-Agents werden eingesetzt, um die Genauigkeit einzelner Modelle zu übertreffen. Wir zeigen, dass ihr Gewinn durch eine Größe begrenzt ist, die in diesem Bereich selten berichtet wird. Für jede Strategie, deren Ausgabe die Antwort eines Mitgliedsmodells ist, kann die Genauigkeit nicht größer als eins minus Beta sein, wobei Beta die Rate ist, mit der jedes Modell bei derselben Abfrage falsch liegt. Im Gegensatz dazu kann die übliche Diagnose, die durchschnittliche paarweise Fehlerkorrelation Rho, Beta nicht identifizieren: Fehlergesetze mit identischen Marginalverteilungen und paarweisen Korrelationen können unterschiedliche Alles-falsch-Raten aufweisen. Eine Clopper-Pearson-Schranke für Beta liefert ein Zertifikat für endliche Stichproben über den größten Gewinn, den ein Router, Vote oder eine Kaskade vor dem Training eines Routers erzielen könnte. Bei 67 Modellen von 21 Anbietern unterbewertet ein tetrachorisch kalibriertes Ein-Faktor-Modell weiterhin den Alles-falsch-Schwanz: Bei offener Mathematik liegt das beobachtete Beta bei 0,052 gegenüber 0,023 unter der vollständigen 67-Modell-Gaußschen Copula, etwa 2,5-fache Unterbewertung, mit einem 90-Prozent-Konfidenzintervall von 1,7 bis 3,4 und k gleich 17. Der Effekt wiederholt sich bei ausführungsbewertetem Code, wo Beta 0,079 beträgt. Das erneute Stellen derselben GPQA-Diamond-Fragen in Freitextform anstatt in Multiple-Choice-Form öffnet den Schwanz wieder, mit Beta 0,127 und einem Fünf-Richter-Panel mit Kappa 0,73 bis 0,92, was das gemeinsame Versagen eher im Antwortformat als im Fachgebiet verortet. Bei vergleichbarer Qualität schlagen heterogene Ensembles mit niedrigem Rho das Self-MoA mit hohem Rho, aber bei überprüfbaren Aufgaben in unserem Pool übertrifft das Kombinieren von Modellen selten das einzelne beste Modell ohne ein starkes Routing-Signal auf Abfrageebene. Gewinne entstehen dadurch, dass Modelle bei unterschiedlichen Fragen versagen, nicht durch das Hinzufügen weiterer Modelle.

English

Multi-model LLM systems such as routing, voting, cascades, fusion, and mixture-of-agents are used to beat single-model accuracy. We show that their gain is capped by a quantity the field rarely reports. For any policy whose output is one member model answer, accuracy cannot exceed one minus beta, where beta is the rate at which every model is wrong on the same query. In contrast, the usual diagnostic, average pairwise error correlation rho, cannot identify beta: error laws with identical marginals and pairwise correlations can have different all-wrong rates. A Clopper-Pearson bound on beta gives a finite-sample certificate on the largest gain any router, vote, or cascade could deliver before training a router. Across 67 models from 21 providers, a tetrachoric-calibrated single-factor model still underprices the all-wrong tail: on open-ended mathematics, observed beta is 0.052 versus 0.023 under the full 67-model Gaussian copula, about 2.5 times underpricing, with 90 percent CI 1.7 to 3.4 and k equals 17. The effect recurs on execution-graded code, where beta is 0.079. Re-asking the same GPQA-Diamond questions in free-response rather than multiple-choice form reopens the tail, with beta 0.127 and a five-judge panel with kappa 0.73 to 0.92, locating co-failure in answer format rather than subject. At matched quality, low-rho heterogeneous ensembles beat high-rho Self-MoA, but on checkable tasks in our pool, combining models rarely beats the single best model without a strong query-level routing signal. Gains come from models failing on different questions, not from adding more models.