Quando Fare Ensembling: Identificare i Punti a Livello di Token per un Ensembling Stabile e Veloce nei Modelli Linguistici di Grande Dimensione

When to Ensemble: Identifying Token-Level Points for Stable and Fast LLM Ensembling

October 17, 2025

Autori: Heecheol Yun, Kwangmin Ki, Junghyun Lee, Eunho Yang

cs.AI

Abstract

L'ensembling di Large Language Models (LLM) ha attirato l'attenzione come un approccio promettente per superare le prestazioni dei singoli modelli sfruttando i loro punti di forza complementari. In particolare, l'aggregazione delle distribuzioni di probabilità del token successivo dei modelli per selezionare il token successivo si è dimostrata efficace in vari compiti. Tuttavia, sebbene abbia successo per risposte brevi, la sua applicazione alla generazione di testi lunghi rimane poco esplorata. In questo articolo, dimostriamo che l'uso dei metodi di ensembling esistenti nella generazione di testi lunghi richiede una scelta accurata delle posizioni di ensembling, poiché la pratica standard di eseguire l'ensembling su ogni token spesso degrada le prestazioni. Identifichiamo due fattori chiave per determinare queste posizioni: la mancata corrispondenza nella tokenizzazione tra i modelli e il consenso nelle loro distribuzioni di probabilità del token successivo. Sulla base di ciò, proponiamo SAFE (Stable And Fast LLM Ensembling), un framework che esegue l'ensembling in modo selettivo considerando congiuntamente questi fattori. Per migliorare ulteriormente la stabilità, introduciamo una strategia di affilatura delle probabilità che consolida le probabilità distribuite su più token sub-parola che rappresentano la stessa parola in un unico token rappresentativo. I nostri esperimenti su diversi benchmark, tra cui MATH500 e BBH, dimostrano che SAFE supera i metodi esistenti sia in termini di accuratezza che di efficienza, con miglioramenti ottenuti anche quando si esegue l'ensembling su meno dell'1% dei token.

English

Ensembling Large Language Models (LLMs) has gained attention as a promising approach to surpass the performance of individual models by leveraging their complementary strengths. In particular, aggregating models' next-token probability distributions to select the next token has been shown to be effective in various tasks. However, while successful for short-form answers, its application to long-form generation remains underexplored. In this paper, we show that using existing ensemble methods in long-form generation requires a careful choice of ensembling positions, since the standard practice of ensembling at every token often degrades performance. We identify two key factors for determining these positions: tokenization mismatch across models and consensus in their next-token probability distributions. Based on this, we propose SAFE, (Stable And Fast LLM Ensembling), a framework that selectively ensembles by jointly considering these factors. To further improve stability, we introduce a probability sharpening strategy that consolidates probabilities spread across multiple sub-word tokens representing the same word into a single representative token. Our experiments on diverse benchmarks, including MATH500 and BBH, demonstrate that SAFE outperforms existing methods in both accuracy and efficiency, with gains achieved even when ensembling fewer than 1% of tokens.