Branch-Solve-Mergeは大規模言語モデルの評価と生成を改善する

Branch-Solve-Merge Improves Large Language Model Evaluation and Generation

October 23, 2023

著者: Swarnadeep Saha, Omer Levy, Asli Celikyilmaz, Mohit Bansal, Jason Weston, Xian Li

cs.AI

要旨

大規模言語モデル（LLM）は、複雑なユーザー制約を満たすことや、複数の側面や基準を考慮する多面的な言語生成および評価タスクに頻繁に使用されます。しかし、モデルの一貫性の欠如や問題の計画・分解能力の不足により、その性能が不十分になることがあります。我々は、このような難しい自然言語タスクに対処するための大規模言語モデルプログラムであるBranch-Solve-Merge（BSM）を提案します（Schlag et al., 2023）。BSMは、ベースLLMに対する特定のプロンプトでパラメータ化されたbranch、solve、mergeモジュールで構成されています。これら3つのモジュールは、タスクを複数の並列サブタスクに分解し、それらを独立して解決し、サブタスクの解を融合します。我々は、LLM応答評価と制約付きテキスト生成のタスクにこの手法を適用し、Vicuna、LLaMA-2-chat、GPT-4を含む複数のLLMでその有効性を評価しました。BSMは、人間とLLMの一致率を最大26％向上させ、長さとペアワイズ位置バイアスを最大50％削減し、LLaMA-2-chatがほとんどのドメインでGPT-4に匹敵または優る性能を発揮することで、各LLMの評価の正確性と一貫性を向上させました。制約付きストーリー生成タスクでは、BSMはストーリーの一貫性を向上させると同時に、制約満足度を12％向上させました。

English

Large Language Models (LLMs) are frequently used for multi-faceted language generation and evaluation tasks that involve satisfying intricate user constraints or taking into account multiple aspects and criteria. However, their performance can fall short, due to the model's lack of coherence and inability to plan and decompose the problem. We propose Branch-Solve-Merge (BSM), a Large Language Model program (Schlag et al., 2023) for tackling such challenging natural language tasks. It consists of branch, solve, and merge modules that are parameterized with specific prompts to the base LLM. These three modules plan a decomposition of the task into multiple parallel sub-tasks, independently solve them, and fuse the solutions to the sub-tasks. We apply our method to the tasks of LLM response evaluation and constrained text generation and evaluate its effectiveness with multiple LLMs, including Vicuna, LLaMA-2-chat, and GPT-4. BSM improves the evaluation correctness and consistency for each LLM by enhancing human-LLM agreement by up to 26%, reducing length and pairwise position biases by up to 50%, and allowing LLaMA-2-chat to match or outperform GPT-4 on most domains. On the constraint story generation task, BSM improves the coherence of the stories while also improving constraint satisfaction by 12%.