Denkende LLM's: Algemene Instructieopvolging met Gedachtengeneratie

Thinking LLMs: General Instruction Following with Thought Generation

October 14, 2024

Auteurs: Tianhao Wu, Janice Lan, Weizhe Yuan, Jiantao Jiao, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Samenvatting

LLM's worden doorgaans getraind om gebruikersvragen te beantwoorden of instructies op te volgen op een vergelijkbare manier als hoe menselijke experts reageren. Echter, in het standaard afstemmingskader ontbreekt het hen aan het basisvermogen van expliciet denken voordat ze antwoorden. Denken is belangrijk voor complexe vragen die redenering en planning vereisen - maar kan worden toegepast op elke taak. We stellen een trainingsmethode voor om bestaande LLM's uit te rusten met dergelijke denkvermogens voor algemene instructieopvolging zonder gebruik van aanvullende menselijke gegevens. Dit bereiken we door een iteratieve zoek- en optimalisatieprocedure die de ruimte van mogelijke gedachtengeneraties verkent, waardoor het model kan leren hoe te denken zonder direct toezicht. Voor elke instructie worden de gedachte-kandidaten beoordeeld met behulp van een beoordelingsmodel om alleen hun antwoorden te evalueren, en vervolgens geoptimaliseerd via voorkeurs-optimalisatie. We tonen aan dat deze procedure leidt tot superieure prestaties op AlpacaEval en Arena-Hard, en voordelen laat zien van denken bij niet-redenerende categorieën zoals marketing, gezondheid en algemene kennis, naast meer traditionele redeneer- en probleemoplostaken.

English

LLMs are typically trained to answer user questions or follow instructions similarly to how human experts respond. However, in the standard alignment framework they lack the basic ability of explicit thinking before answering. Thinking is important for complex questions that require reasoning and planning -- but can be applied to any task. We propose a training method for equipping existing LLMs with such thinking abilities for general instruction following without use of additional human data. We achieve this by an iterative search and optimization procedure that explores the space of possible thought generations, allowing the model to learn how to think without direct supervision. For each instruction, the thought candidates are scored using a judge model to evaluate their responses only, and then optimized via preference optimization. We show that this procedure leads to superior performance on AlpacaEval and Arena-Hard, and shows gains from thinking on non-reasoning categories such as marketing, health and general knowledge, in addition to more traditional reasoning & problem-solving tasks.