Branch-Solve-Merge verbetert evaluatie en generatie van grote taalmodellen

Branch-Solve-Merge Improves Large Language Model Evaluation and Generation

October 23, 2023

Auteurs: Swarnadeep Saha, Omer Levy, Asli Celikyilmaz, Mohit Bansal, Jason Weston, Xian Li

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) worden vaak gebruikt voor veelzijdige taakgeneratie en evaluatietaken die het voldoen aan complexe gebruikersbeperkingen of het in overweging nemen van meerdere aspecten en criteria vereisen. Hun prestaties kunnen echter tekortschieten vanwege het gebrek aan samenhang van het model en het onvermogen om het probleem te plannen en op te delen. Wij stellen Branch-Solve-Merge (BSM) voor, een programma voor Grote Taalmodellen (Schlag et al., 2023) om dergelijke uitdagende natuurlijke-taaltaken aan te pakken. Het bestaat uit branch-, solve- en merge-modules die geparametriseerd zijn met specifieke prompts voor het basis-LLM. Deze drie modules plannen een opdeling van de taak in meerdere parallelle subtaken, lossen deze onafhankelijk op en voegen de oplossingen voor de subtaken samen. We passen onze methode toe op de taken van LLM-respons evaluatie en beperkte tekstgeneratie en evalueren de effectiviteit ervan met meerdere LLMs, waaronder Vicuna, LLaMA-2-chat en GPT-4. BSM verbetert de evaluatienauwkeurigheid en consistentie voor elk LLM door de overeenstemming tussen mens en LLM met tot 26% te verhogen, lengte- en paarsgewijze positiebias met tot 50% te verminderen, en LLaMA-2-chat in staat te stellen GPT-4 op de meeste domeinen te evenaren of te overtreffen. Bij de taak van beperkte verhaalgeneratie verbetert BSM de samenhang van de verhalen terwijl ook de beperkingsvoldoening met 12% wordt verbeterd.

English

Large Language Models (LLMs) are frequently used for multi-faceted language generation and evaluation tasks that involve satisfying intricate user constraints or taking into account multiple aspects and criteria. However, their performance can fall short, due to the model's lack of coherence and inability to plan and decompose the problem. We propose Branch-Solve-Merge (BSM), a Large Language Model program (Schlag et al., 2023) for tackling such challenging natural language tasks. It consists of branch, solve, and merge modules that are parameterized with specific prompts to the base LLM. These three modules plan a decomposition of the task into multiple parallel sub-tasks, independently solve them, and fuse the solutions to the sub-tasks. We apply our method to the tasks of LLM response evaluation and constrained text generation and evaluate its effectiveness with multiple LLMs, including Vicuna, LLaMA-2-chat, and GPT-4. BSM improves the evaluation correctness and consistency for each LLM by enhancing human-LLM agreement by up to 26%, reducing length and pairwise position biases by up to 50%, and allowing LLaMA-2-chat to match or outperform GPT-4 on most domains. On the constraint story generation task, BSM improves the coherence of the stories while also improving constraint satisfaction by 12%.