Denkende LLMs: Allgemeine Anweisungsverfolgung mit Gedankengenerierung

Thinking LLMs: General Instruction Following with Thought Generation

October 14, 2024

Autoren: Tianhao Wu, Janice Lan, Weizhe Yuan, Jiantao Jiao, Jason Weston, Sainbayar Sukhbaatar

cs.AI

Zusammenfassung

LLMs werden in der Regel darauf trainiert, Benutzerfragen zu beantworten oder Anweisungen ähnlich zu befolgen, wie menschliche Experten reagieren. Im Standard-Alignmentsrahmen fehlt ihnen jedoch die grundlegende Fähigkeit des expliziten Denkens vor dem Antworten. Das Denken ist wichtig für komplexe Fragen, die Schlussfolgerungen und Planung erfordern – kann aber auf jede Aufgabe angewendet werden. Wir schlagen eine Schulungsmethode vor, um bestehende LLMs mit solchen Denkfähigkeiten für allgemeines Anweisungsverhalten auszustatten, ohne zusätzliche menschliche Daten zu verwenden. Dies erreichen wir durch ein iteratives Such- und Optimierungsverfahren, das den Raum möglicher Gedankengenerationen erkundet und dem Modell ermöglicht, zu lernen, wie man ohne direkte Aufsicht denkt. Für jede Anweisung werden die Gedankenkandidaten nur anhand ihrer Antworten mit einem Richtermodell bewertet und dann über Präferenzoptimierung optimiert. Wir zeigen, dass dieses Verfahren zu einer überlegenen Leistung bei AlpacaEval und Arena-Hard führt und Vorteile des Denkens in nicht-schlussfolgernden Kategorien wie Marketing, Gesundheit und Allgemeinwissen sowie bei traditionelleren Schlussfolgerungs- und Problemlösungsaufgaben aufzeigt.

English

LLMs are typically trained to answer user questions or follow instructions similarly to how human experts respond. However, in the standard alignment framework they lack the basic ability of explicit thinking before answering. Thinking is important for complex questions that require reasoning and planning -- but can be applied to any task. We propose a training method for equipping existing LLMs with such thinking abilities for general instruction following without use of additional human data. We achieve this by an iterative search and optimization procedure that explores the space of possible thought generations, allowing the model to learn how to think without direct supervision. For each instruction, the thought candidates are scored using a judge model to evaluate their responses only, and then optimized via preference optimization. We show that this procedure leads to superior performance on AlpacaEval and Arena-Hard, and shows gains from thinking on non-reasoning categories such as marketing, health and general knowledge, in addition to more traditional reasoning & problem-solving tasks.