LLM-Blender: Ансамблирование больших языковых моделей с использованием попарного ранжирования и генеративного слияния
LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
June 5, 2023
Авторы: Dongfu Jiang, Xiang Ren, Bill Yuchen Lin
cs.AI
Аннотация
Мы представляем LLM-Blender, фреймворк для ансамблирования, разработанный для достижения стабильно высоких результатов за счет использования разнообразных сильных сторон нескольких открытых больших языковых моделей (LLM). Наш фреймворк состоит из двух модулей: PairRanker и GenFuser, которые решают проблему значительного варьирования оптимальных LLM для разных примеров. PairRanker использует специализированный метод попарного сравнения для выявления тонких различий между кандидатными выходами. Он совместно кодирует входной текст и пару кандидатов, применяя кросс-внимательные кодировщики для определения лучшего из них. Наши результаты показывают, что PairRanker демонстрирует наивысшую корреляцию с ранжированием на основе ChatGPT. Затем GenFuser стремится объединить наиболее высоко оцененные кандидаты, генерируя улучшенный выход, используя их сильные стороны и компенсируя слабости. Для облегчения масштабной оценки мы представляем эталонный набор данных MixInstruct, представляющий собой смесь нескольких наборов данных с инструкциями, включающих эталонные попарные сравнения. Наш LLM-Blender значительно превосходит отдельные LLM и базовые методы по различным метрикам, устанавливая существенный разрыв в производительности.
English
We present LLM-Blender, an ensembling framework designed to attain
consistently superior performance by leveraging the diverse strengths of
multiple open-source large language models (LLMs). Our framework consists of
two modules: PairRanker and GenFuser, addressing the observation that optimal
LLMs for different examples can significantly vary. PairRanker employs a
specialized pairwise comparison method to distinguish subtle differences
between candidate outputs. It jointly encodes the input text and a pair of
candidates, using cross-attention encoders to determine the superior one. Our
results demonstrate that PairRanker exhibits the highest correlation with
ChatGPT-based ranking. Then, GenFuser aims to merge the top-ranked candidates,
generating an improved output by capitalizing on their strengths and mitigating
their weaknesses. To facilitate large-scale evaluation, we introduce a
benchmark dataset, MixInstruct, which is a mixture of multiple instruction
datasets featuring oracle pairwise comparisons. Our LLM-Blender significantly
outperform individual LLMs and baseline methods across various metrics,
establishing a substantial performance gap.