Метод Branch-Solve-Merge улучшает оценку и генерацию текста в крупных языковых моделях

Branch-Solve-Merge Improves Large Language Model Evaluation and Generation

October 23, 2023

Авторы: Swarnadeep Saha, Omer Levy, Asli Celikyilmaz, Mohit Bansal, Jason Weston, Xian Li

cs.AI

Аннотация

Крупные языковые модели (LLM) часто используются для многогранных задач генерации и оценки текста, которые включают удовлетворение сложных пользовательских ограничений или учет множества аспектов и критериев. Однако их производительность может быть недостаточной из-за отсутствия согласованности в модели и неспособности планировать и декомпозировать задачу. Мы предлагаем метод Branch-Solve-Merge (BSM) — программу для крупных языковых моделей (Schlag et al., 2023), предназначенную для решения таких сложных задач обработки естественного языка. Он состоит из модулей ветвления, решения и объединения, параметризованных с помощью специфических промптов для базовой LLM. Эти три модуля планируют декомпозицию задачи на несколько параллельных подзадач, независимо решают их и объединяют решения подзадач. Мы применяем наш метод к задачам оценки ответов LLM и генерации текста с ограничениями, оценивая его эффективность с использованием нескольких LLM, включая Vicuna, LLaMA-2-chat и GPT-4. BSM улучшает корректность и согласованность оценки для каждой LLM, повышая согласие между человеком и LLM до 26%, снижая предвзятость по длине и парным позициям до 50% и позволяя LLaMA-2-chat соответствовать или превосходить GPT-4 в большинстве областей. В задаче генерации историй с ограничениями BSM улучшает связность историй, одновременно повышая удовлетворение ограничений на 12%.

English

Large Language Models (LLMs) are frequently used for multi-faceted language generation and evaluation tasks that involve satisfying intricate user constraints or taking into account multiple aspects and criteria. However, their performance can fall short, due to the model's lack of coherence and inability to plan and decompose the problem. We propose Branch-Solve-Merge (BSM), a Large Language Model program (Schlag et al., 2023) for tackling such challenging natural language tasks. It consists of branch, solve, and merge modules that are parameterized with specific prompts to the base LLM. These three modules plan a decomposition of the task into multiple parallel sub-tasks, independently solve them, and fuse the solutions to the sub-tasks. We apply our method to the tasks of LLM response evaluation and constrained text generation and evaluate its effectiveness with multiple LLMs, including Vicuna, LLaMA-2-chat, and GPT-4. BSM improves the evaluation correctness and consistency for each LLM by enhancing human-LLM agreement by up to 26%, reducing length and pairwise position biases by up to 50%, and allowing LLaMA-2-chat to match or outperform GPT-4 on most domains. On the constraint story generation task, BSM improves the coherence of the stories while also improving constraint satisfaction by 12%.