Branch-Solve-Merge Melhora a Avaliação e Geração de Modelos de Linguagem de Grande Escala

Branch-Solve-Merge Improves Large Language Model Evaluation and Generation

October 23, 2023

Autores: Swarnadeep Saha, Omer Levy, Asli Celikyilmaz, Mohit Bansal, Jason Weston, Xian Li

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) são frequentemente utilizados para tarefas multifacetadas de geração e avaliação de linguagem que envolvem a satisfação de restrições complexas do usuário ou a consideração de múltiplos aspectos e critérios. No entanto, seu desempenho pode ficar aquém do esperado devido à falta de coerência do modelo e à incapacidade de planejar e decompor o problema. Propomos o método Branch-Solve-Merge (BSM), um programa de Modelo de Linguagem de Grande Escala (Schlag et al., 2023) para enfrentar tarefas desafiadoras de linguagem natural. Ele consiste em módulos de ramificação, resolução e fusão que são parametrizados com prompts específicos para o LLM base. Esses três módulos planejam a decomposição da tarefa em múltiplas sub-tarefas paralelas, resolvem-nas de forma independente e fundem as soluções das sub-tarefas. Aplicamos nosso método às tarefas de avaliação de respostas de LLMs e geração de texto com restrições, avaliando sua eficácia com múltiplos LLMs, incluindo Vicuna, LLaMA-2-chat e GPT-4. O BSM melhora a correção e consistência da avaliação para cada LLM, aumentando a concordância humano-LLM em até 26%, reduzindo vieses de comprimento e posição pareada em até 50%, e permitindo que o LLaMA-2-chat iguale ou supere o GPT-4 na maioria dos domínios. Na tarefa de geração de histórias com restrições, o BSM melhora a coerência das histórias enquanto também aumenta a satisfação das restrições em 12%.

English

Large Language Models (LLMs) are frequently used for multi-faceted language generation and evaluation tasks that involve satisfying intricate user constraints or taking into account multiple aspects and criteria. However, their performance can fall short, due to the model's lack of coherence and inability to plan and decompose the problem. We propose Branch-Solve-Merge (BSM), a Large Language Model program (Schlag et al., 2023) for tackling such challenging natural language tasks. It consists of branch, solve, and merge modules that are parameterized with specific prompts to the base LLM. These three modules plan a decomposition of the task into multiple parallel sub-tasks, independently solve them, and fuse the solutions to the sub-tasks. We apply our method to the tasks of LLM response evaluation and constrained text generation and evaluate its effectiveness with multiple LLMs, including Vicuna, LLaMA-2-chat, and GPT-4. BSM improves the evaluation correctness and consistency for each LLM by enhancing human-LLM agreement by up to 26%, reducing length and pairwise position biases by up to 50%, and allowing LLaMA-2-chat to match or outperform GPT-4 on most domains. On the constraint story generation task, BSM improves the coherence of the stories while also improving constraint satisfaction by 12%.