Quando Combinar Modelos de Linguagem Ajuda? Um Teto de Co-Falha em Roteamento, Votação e Mistura de Agentes em 67 Modelos de Fronteira

Resumo

Sistemas de modelos de linguagem múltiplos (multi-model LLM), como roteamento, votação, cascatas, fusão e mistura de agentes, são usados para superar a precisão de modelos individuais. Mostramos que seu ganho é limitado por uma quantidade raramente reportada na área. Para qualquer política cuja saída seja a resposta de um modelo membro, a precisão não pode exceder um menos beta, onde beta é a taxa na qual todos os modelos erram na mesma consulta. Em contraste, o diagnóstico usual, a correlação média de erro aos pares rho, não consegue identificar beta: leis de erro com marginais e correlações aos pares idênticas podem ter diferentes taxas de erro total (all-wrong). Um limite de Clopper-Pearson para beta fornece um certificado de amostra finita sobre o maior ganho que qualquer roteador, votação ou cascata poderia oferecer antes de treinar um roteador. Em 67 modelos de 21 provedores, um modelo de fator único calibrado tetracórico ainda subestima a cauda de erro total: em matemática de resposta aberta, o beta observado é 0,052 contra 0,023 sob a cópula gaussiana completa de 67 modelos, cerca de 2,5 vezes de subestimação, com IC de 90% de 1,7 a 3,4 e k igual a 17. O efeito se repete em código avaliado por execução, onde beta é 0,079. Reapresentar as mesmas questões do GPQA-Diamond em formato de resposta livre, em vez de múltipla escolha, reabre a cauda, com beta de 0,127 e um painel de cinco juízes com kappa entre 0,73 e 0,92, localizando a co-falha no formato da resposta, e não no assunto. Com qualidade equivalente, conjuntos heterogêneos de baixo rho superam o Self-MoA de alto rho, mas em tarefas verificáveis em nosso conjunto, combinar modelos raramente supera o melhor modelo individual sem um forte sinal de roteamento em nível de consulta. Os ganhos vêm de modelos que falham em perguntas diferentes, não de adicionar mais modelos.

English

Multi-model LLM systems such as routing, voting, cascades, fusion, and mixture-of-agents are used to beat single-model accuracy. We show that their gain is capped by a quantity the field rarely reports. For any policy whose output is one member model answer, accuracy cannot exceed one minus beta, where beta is the rate at which every model is wrong on the same query. In contrast, the usual diagnostic, average pairwise error correlation rho, cannot identify beta: error laws with identical marginals and pairwise correlations can have different all-wrong rates. A Clopper-Pearson bound on beta gives a finite-sample certificate on the largest gain any router, vote, or cascade could deliver before training a router. Across 67 models from 21 providers, a tetrachoric-calibrated single-factor model still underprices the all-wrong tail: on open-ended mathematics, observed beta is 0.052 versus 0.023 under the full 67-model Gaussian copula, about 2.5 times underpricing, with 90 percent CI 1.7 to 3.4 and k equals 17. The effect recurs on execution-graded code, where beta is 0.079. Re-asking the same GPQA-Diamond questions in free-response rather than multiple-choice form reopens the tail, with beta 0.127 and a five-judge panel with kappa 0.73 to 0.92, locating co-failure in answer format rather than subject. At matched quality, low-rho heterogeneous ensembles beat high-rho Self-MoA, but on checkable tasks in our pool, combining models rarely beats the single best model without a strong query-level routing signal. Gains come from models failing on different questions, not from adding more models.