Когда помогает объединение языковых моделей? Потолок совместных отказов при маршрутизации, голосовании и смеси агентов на 67 фронтирных моделях

Аннотация

Мультимодельные LLM-системы, такие как маршрутизация, голосование, каскады, слияние и смешение агентов, используются для превосходства над точностью одной модели. Мы показываем, что их выигрыш ограничен величиной, которую в данной области редко указывают. Для любой стратегии, выходом которой является ответ одной из моделей, точность не может превышать единицу минус бета, где бета — это доля запросов, на которых каждая модель ошибается. В отличие от этого, обычный диагностический показатель — средняя попарная корреляция ошибок ро — не позволяет определить бету: законы ошибок с одинаковыми маргинальными распределениями и попарными корреляциями могут иметь различные доли всеобщих ошибок. Оценка беты по методу Клоппера–Пирсона даёт конечную сертификацию максимального выигрыша, который может обеспечить любой маршрутизатор, голосование или каскад до обучения маршрутизатора. На выборке из 67 моделей от 21 поставщика однофакторная тетрахорически калиброванная модель по-прежнему занижает хвост всеобщих ошибок: на задачах по математике с открытым ответом наблюдаемая бета составляет 0,052 против 0,023 при полной гауссовой копуле из 67 моделей — занижение примерно в 2,5 раза, с 90%-ным доверительным интервалом от 1,7 до 3,4 и k = 17. Этот эффект повторяется для кода, оцениваемого по выполнению, где бета равна 0,079. Повторное задание тех же вопросов GPQA-Diamond в форме свободного ответа, а не множественного выбора, открывает хвост заново: бета составляет 0,127, а коллегия из пяти экспертов с каппа от 0,73 до 0,92 локализует совместную ошибку в формате ответа, а не в предмете. При равном качестве гетерогенные ансамбли с низким ро превосходят Self-MoA с высоким ро, однако на проверяемых задачах из нашего пула объединение моделей редко превосходит одну лучшую модель без сильного сигнала маршрутизации на уровне запросов. Выигрыш достигается за счёт того, что модели ошибаются на разных вопросах, а не за счёт добавления большего числа моделей.

English

Multi-model LLM systems such as routing, voting, cascades, fusion, and mixture-of-agents are used to beat single-model accuracy. We show that their gain is capped by a quantity the field rarely reports. For any policy whose output is one member model answer, accuracy cannot exceed one minus beta, where beta is the rate at which every model is wrong on the same query. In contrast, the usual diagnostic, average pairwise error correlation rho, cannot identify beta: error laws with identical marginals and pairwise correlations can have different all-wrong rates. A Clopper-Pearson bound on beta gives a finite-sample certificate on the largest gain any router, vote, or cascade could deliver before training a router. Across 67 models from 21 providers, a tetrachoric-calibrated single-factor model still underprices the all-wrong tail: on open-ended mathematics, observed beta is 0.052 versus 0.023 under the full 67-model Gaussian copula, about 2.5 times underpricing, with 90 percent CI 1.7 to 3.4 and k equals 17. The effect recurs on execution-graded code, where beta is 0.079. Re-asking the same GPQA-Diamond questions in free-response rather than multiple-choice form reopens the tail, with beta 0.127 and a five-judge panel with kappa 0.73 to 0.92, locating co-failure in answer format rather than subject. At matched quality, low-rho heterogeneous ensembles beat high-rho Self-MoA, but on checkable tasks in our pool, combining models rarely beats the single best model without a strong query-level routing signal. Gains come from models failing on different questions, not from adding more models.