Когда применять ансамблирование: определение токен-уровневых точек для стабильного и быстрого ансамблирования больших языковых моделей

When to Ensemble: Identifying Token-Level Points for Stable and Fast LLM Ensembling

October 17, 2025

Авторы: Heecheol Yun, Kwangmin Ki, Junghyun Lee, Eunho Yang

cs.AI

Аннотация

Ансамблирование больших языковых моделей (LLM) привлекает внимание как перспективный подход, позволяющий превзойти производительность отдельных моделей за счет использования их взаимодополняющих сильных сторон. В частности, агрегирование распределений вероятностей следующего токена для выбора следующего токена показало свою эффективность в различных задачах. Однако, хотя этот метод успешен для кратких ответов, его применение к генерации длинных текстов остается недостаточно изученным. В данной работе мы показываем, что использование существующих методов ансамблирования в генерации длинных текстов требует тщательного выбора позиций для ансамблирования, поскольку стандартная практика ансамблирования на каждом токене часто приводит к ухудшению производительности. Мы выделяем два ключевых фактора для определения этих позиций: несоответствие токенизации между моделями и согласованность в их распределениях вероятностей следующего токена. На основе этого мы предлагаем SAFE (Stable And Fast LLM Ensembling), фреймворк, который выборочно ансамблирует, учитывая оба этих фактора. Для дальнейшего повышения стабильности мы вводим стратегию заострения вероятностей, которая объединяет вероятности, распределенные по нескольким субтокенам, представляющим одно и то же слово, в один репрезентативный токен. Наши эксперименты на различных бенчмарках, включая MATH500 и BBH, демонстрируют, что SAFE превосходит существующие методы как по точности, так и по эффективности, достигая улучшений даже при ансамблировании менее 1% токенов.

English

Ensembling Large Language Models (LLMs) has gained attention as a promising approach to surpass the performance of individual models by leveraging their complementary strengths. In particular, aggregating models' next-token probability distributions to select the next token has been shown to be effective in various tasks. However, while successful for short-form answers, its application to long-form generation remains underexplored. In this paper, we show that using existing ensemble methods in long-form generation requires a careful choice of ensembling positions, since the standard practice of ensembling at every token often degrades performance. We identify two key factors for determining these positions: tokenization mismatch across models and consensus in their next-token probability distributions. Based on this, we propose SAFE, (Stable And Fast LLM Ensembling), a framework that selectively ensembles by jointly considering these factors. To further improve stability, we introduce a probability sharpening strategy that consolidates probabilities spread across multiple sub-word tokens representing the same word into a single representative token. Our experiments on diverse benchmarks, including MATH500 and BBH, demonstrate that SAFE outperforms existing methods in both accuracy and efficiency, with gains achieved even when ensembling fewer than 1% of tokens.