LLM-Blender: Ensemble di Modelli Linguistici di Grandi Dimensioni con Classificazione a Coppie e Fusione Generativa

LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion

June 5, 2023

Autori: Dongfu Jiang, Xiang Ren, Bill Yuchen Lin

cs.AI

Abstract

Presentiamo LLM-Blender, un framework di ensembling progettato per ottenere prestazioni costantemente superiori sfruttando i punti di forza diversificati di molteplici modelli linguistici di grandi dimensioni (LLM) open-source. Il nostro framework è composto da due moduli: PairRanker e GenFuser, che affrontano l'osservazione che i migliori LLM per diversi esempi possono variare significativamente. PairRanker utilizza un metodo specializzato di confronto a coppie per distinguere le sottili differenze tra i candidati in output. Codifica congiuntamente il testo di input e una coppia di candidati, utilizzando encoder a cross-attention per determinare quello superiore. I nostri risultati dimostrano che PairRanker mostra la più alta correlazione con il ranking basato su ChatGPT. Successivamente, GenFuser mira a fondere i candidati con il punteggio più alto, generando un output migliorato capitalizzando i loro punti di forza e mitigando le loro debolezze. Per facilitare la valutazione su larga scala, introduciamo un dataset di benchmark, MixInstruct, che è una miscela di più dataset di istruzioni con confronti a coppie oracolari. Il nostro LLM-Blender supera significativamente i singoli LLM e i metodi di baseline su varie metriche, stabilendo un divario prestazionale sostanziale.

English

We present LLM-Blender, an ensembling framework designed to attain consistently superior performance by leveraging the diverse strengths of multiple open-source large language models (LLMs). Our framework consists of two modules: PairRanker and GenFuser, addressing the observation that optimal LLMs for different examples can significantly vary. PairRanker employs a specialized pairwise comparison method to distinguish subtle differences between candidate outputs. It jointly encodes the input text and a pair of candidates, using cross-attention encoders to determine the superior one. Our results demonstrate that PairRanker exhibits the highest correlation with ChatGPT-based ranking. Then, GenFuser aims to merge the top-ranked candidates, generating an improved output by capitalizing on their strengths and mitigating their weaknesses. To facilitate large-scale evaluation, we introduce a benchmark dataset, MixInstruct, which is a mixture of multiple instruction datasets featuring oracle pairwise comparisons. Our LLM-Blender significantly outperform individual LLMs and baseline methods across various metrics, establishing a substantial performance gap.