Quando Fazer Ensemble: Identificando Pontos em Nível de Token para Ensemble Estável e Rápido em LLMs

When to Ensemble: Identifying Token-Level Points for Stable and Fast LLM Ensembling

October 17, 2025

Autores: Heecheol Yun, Kwangmin Ki, Junghyun Lee, Eunho Yang

cs.AI

Resumo

O agrupamento (ensembling) de Modelos de Linguagem de Grande Escala (LLMs) tem ganhado atenção como uma abordagem promissora para superar o desempenho de modelos individuais, aproveitando seus pontos fortes complementares. Em particular, a agregação das distribuições de probabilidade do próximo token dos modelos para selecionar o próximo token tem se mostrado eficaz em várias tarefas. No entanto, embora bem-sucedido para respostas curtas, sua aplicação na geração de textos longos ainda é pouco explorada. Neste artigo, mostramos que o uso de métodos de agrupamento existentes na geração de textos longos requer uma escolha cuidadosa das posições de agrupamento, já que a prática padrão de agrupar em cada token frequentemente degrada o desempenho. Identificamos dois fatores-chave para determinar essas posições: a incompatibilidade de tokenização entre os modelos e o consenso em suas distribuições de probabilidade do próximo token. Com base nisso, propomos o SAFE (Stable And Fast LLM Ensembling), um framework que realiza o agrupamento de forma seletiva, considerando conjuntamente esses fatores. Para melhorar ainda mais a estabilidade, introduzimos uma estratégia de afiação de probabilidades que consolida as probabilidades distribuídas em vários sub-tokens que representam a mesma palavra em um único token representativo. Nossos experimentos em diversos benchmarks, incluindo MATH500 e BBH, demonstram que o SAFE supera os métodos existentes tanto em precisão quanto em eficiência, com ganhos alcançados mesmo ao agrupar menos de 1% dos tokens.

English

Ensembling Large Language Models (LLMs) has gained attention as a promising approach to surpass the performance of individual models by leveraging their complementary strengths. In particular, aggregating models' next-token probability distributions to select the next token has been shown to be effective in various tasks. However, while successful for short-form answers, its application to long-form generation remains underexplored. In this paper, we show that using existing ensemble methods in long-form generation requires a careful choice of ensembling positions, since the standard practice of ensembling at every token often degrades performance. We identify two key factors for determining these positions: tokenization mismatch across models and consensus in their next-token probability distributions. Based on this, we propose SAFE, (Stable And Fast LLM Ensembling), a framework that selectively ensembles by jointly considering these factors. To further improve stability, we introduce a probability sharpening strategy that consolidates probabilities spread across multiple sub-word tokens representing the same word into a single representative token. Our experiments on diverse benchmarks, including MATH500 and BBH, demonstrate that SAFE outperforms existing methods in both accuracy and efficiency, with gains achieved even when ensembling fewer than 1% of tokens.