ChatPaper.aiChatPaper

LLM-Blender: Ансамблирование больших языковых моделей с использованием попарного ранжирования и генеративного слияния

LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion

June 5, 2023
Авторы: Dongfu Jiang, Xiang Ren, Bill Yuchen Lin
cs.AI

Аннотация

Мы представляем LLM-Blender, фреймворк для ансамблирования, разработанный для достижения стабильно высоких результатов за счет использования разнообразных сильных сторон нескольких открытых больших языковых моделей (LLM). Наш фреймворк состоит из двух модулей: PairRanker и GenFuser, которые решают проблему значительного варьирования оптимальных LLM для разных примеров. PairRanker использует специализированный метод попарного сравнения для выявления тонких различий между кандидатными выходами. Он совместно кодирует входной текст и пару кандидатов, применяя кросс-внимательные кодировщики для определения лучшего из них. Наши результаты показывают, что PairRanker демонстрирует наивысшую корреляцию с ранжированием на основе ChatGPT. Затем GenFuser стремится объединить наиболее высоко оцененные кандидаты, генерируя улучшенный выход, используя их сильные стороны и компенсируя слабости. Для облегчения масштабной оценки мы представляем эталонный набор данных MixInstruct, представляющий собой смесь нескольких наборов данных с инструкциями, включающих эталонные попарные сравнения. Наш LLM-Blender значительно превосходит отдельные LLM и базовые методы по различным метрикам, устанавливая существенный разрыв в производительности.
English
We present LLM-Blender, an ensembling framework designed to attain consistently superior performance by leveraging the diverse strengths of multiple open-source large language models (LLMs). Our framework consists of two modules: PairRanker and GenFuser, addressing the observation that optimal LLMs for different examples can significantly vary. PairRanker employs a specialized pairwise comparison method to distinguish subtle differences between candidate outputs. It jointly encodes the input text and a pair of candidates, using cross-attention encoders to determine the superior one. Our results demonstrate that PairRanker exhibits the highest correlation with ChatGPT-based ranking. Then, GenFuser aims to merge the top-ranked candidates, generating an improved output by capitalizing on their strengths and mitigating their weaknesses. To facilitate large-scale evaluation, we introduce a benchmark dataset, MixInstruct, which is a mixture of multiple instruction datasets featuring oracle pairwise comparisons. Our LLM-Blender significantly outperform individual LLMs and baseline methods across various metrics, establishing a substantial performance gap.
PDF62December 15, 2024