Branch-Solve-Merge Mejora la Evaluación y Generación de Modelos de Lenguaje de Gran Escala

Branch-Solve-Merge Improves Large Language Model Evaluation and Generation

October 23, 2023

Autores: Swarnadeep Saha, Omer Levy, Asli Celikyilmaz, Mohit Bansal, Jason Weston, Xian Li

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) se utilizan frecuentemente para tareas de generación y evaluación de lenguaje multifacéticas que implican satisfacer restricciones complejas del usuario o considerar múltiples aspectos y criterios. Sin embargo, su rendimiento puede ser insuficiente debido a la falta de coherencia del modelo y su incapacidad para planificar y descomponer el problema. Proponemos Branch-Solve-Merge (BSM), un programa de Modelo de Lenguaje de Gran Escala (Schlag et al., 2023) para abordar tareas desafiantes de lenguaje natural. Este consta de módulos de ramificación, resolución y fusión que están parametrizados con indicaciones específicas para el LLM base. Estos tres módulos planifican una descomposición de la tarea en múltiples sub-tareas paralelas, las resuelven de manera independiente y fusionan las soluciones de las sub-tareas. Aplicamos nuestro método a las tareas de evaluación de respuestas de LLMs y generación de texto con restricciones, y evaluamos su efectividad con múltiples LLMs, incluyendo Vicuna, LLaMA-2-chat y GPT-4. BSM mejora la corrección y consistencia de la evaluación para cada LLM al aumentar la concordancia humano-LLM hasta en un 26%, reducir los sesgos de longitud y posición por pares hasta en un 50%, y permitir que LLaMA-2-chat iguale o supere a GPT-4 en la mayoría de los dominios. En la tarea de generación de historias con restricciones, BSM mejora la coherencia de las historias mientras también aumenta la satisfacción de las restricciones en un 12%.

English

Large Language Models (LLMs) are frequently used for multi-faceted language generation and evaluation tasks that involve satisfying intricate user constraints or taking into account multiple aspects and criteria. However, their performance can fall short, due to the model's lack of coherence and inability to plan and decompose the problem. We propose Branch-Solve-Merge (BSM), a Large Language Model program (Schlag et al., 2023) for tackling such challenging natural language tasks. It consists of branch, solve, and merge modules that are parameterized with specific prompts to the base LLM. These three modules plan a decomposition of the task into multiple parallel sub-tasks, independently solve them, and fuse the solutions to the sub-tasks. We apply our method to the tasks of LLM response evaluation and constrained text generation and evaluate its effectiveness with multiple LLMs, including Vicuna, LLaMA-2-chat, and GPT-4. BSM improves the evaluation correctness and consistency for each LLM by enhancing human-LLM agreement by up to 26%, reducing length and pairwise position biases by up to 50%, and allowing LLaMA-2-chat to match or outperform GPT-4 on most domains. On the constraint story generation task, BSM improves the coherence of the stories while also improving constraint satisfaction by 12%.