¿Cuándo ayuda combinar modelos de lenguaje? Un techo de fallo conjunto en enrutamiento, votación y mezcla de agentes en 67 modelos de vanguardia

Resumen

Los sistemas multiformato LLM, como enrutamiento, votación, cascadas, fusión y mezcla de agentes, se utilizan para superar la precisión de un solo modelo. Demostramos que su ganancia está limitada por una magnitud que el campo rara vez reporta. Para cualquier política cuya salida sea la respuesta de un modelo miembro, la precisión no puede superar uno menos beta, donde beta es la tasa a la que cada modelo se equivoca en la misma consulta. Por el contrario, el diagnóstico habitual, la correlación media de errores por pares rho, no puede identificar a beta: leyes de error con marginales y correlaciones por pares idénticas pueden tener tasas de error conjunto diferentes. Un límite de Clopper-Pearson sobre beta proporciona un certificado de muestra finita sobre la mayor ganancia que cualquier enrutador, voto o cascada podría ofrecer antes de entrenar un enrutador. En 67 modelos de 21 proveedores, un modelo de un solo factor calibrado tetracóricamente sigue subestimando la cola de error conjunto: en matemáticas abiertas, la beta observada es 0,052 frente a 0,023 bajo la cópula gaussiana completa de 67 modelos, aproximadamente 2,5 veces por debajo del precio, con un IC del 90% de 1,7 a 3,4 y k igual a 17. El efecto se repite en código evaluado por ejecución, donde beta es 0,079. Volver a formular las mismas preguntas de GPQA-Diamond en formato de respuesta libre en lugar de opción múltiple reabre la cola, con beta 0,127 y un panel de cinco jueces con kappa 0,73 a 0,92, localizando el cofallo en el formato de respuesta en lugar del tema. Con calidad equiparable, los ensambles heterogéneos de baja rho superan al Self-MoA de alta rho, pero en tareas verificables de nuestro conjunto, combinar modelos rara vez supera al mejor modelo individual sin una señal de enrutamiento fuerte a nivel de consulta. Las ganancias provienen de que los modelos fallen en preguntas diferentes, no de agregar más modelos.

English

Multi-model LLM systems such as routing, voting, cascades, fusion, and mixture-of-agents are used to beat single-model accuracy. We show that their gain is capped by a quantity the field rarely reports. For any policy whose output is one member model answer, accuracy cannot exceed one minus beta, where beta is the rate at which every model is wrong on the same query. In contrast, the usual diagnostic, average pairwise error correlation rho, cannot identify beta: error laws with identical marginals and pairwise correlations can have different all-wrong rates. A Clopper-Pearson bound on beta gives a finite-sample certificate on the largest gain any router, vote, or cascade could deliver before training a router. Across 67 models from 21 providers, a tetrachoric-calibrated single-factor model still underprices the all-wrong tail: on open-ended mathematics, observed beta is 0.052 versus 0.023 under the full 67-model Gaussian copula, about 2.5 times underpricing, with 90 percent CI 1.7 to 3.4 and k equals 17. The effect recurs on execution-graded code, where beta is 0.079. Re-asking the same GPQA-Diamond questions in free-response rather than multiple-choice form reopens the tail, with beta 0.127 and a five-judge panel with kappa 0.73 to 0.92, locating co-failure in answer format rather than subject. At matched quality, low-rho heterogeneous ensembles beat high-rho Self-MoA, but on checkable tasks in our pool, combining models rarely beats the single best model without a strong query-level routing signal. Gains come from models failing on different questions, not from adding more models.