Offline Verstärkendes Lernen für LLM Mehrschritt-Argumentation

Offline Reinforcement Learning for LLM Multi-Step Reasoning

December 20, 2024

Autoren: Huaijie Wang, Shibo Hao, Hanze Dong, Shenao Zhang, Yilin Bao, Ziran Yang, Yi Wu

cs.AI

Zusammenfassung

Die Verbesserung der Fähigkeit großer Sprachmodelle (LLMs) zur mehrstufigen Argumentation mit offline Verstärkungslernen (RL) ist entscheidend, um sie schnell an komplexe Aufgaben anzupassen. Während die Direkte Präferenzoptimierung (DPO) vielversprechend ist, um LLMs mit menschlichen Präferenzen in Einklang zu bringen, ist sie weniger geeignet für mehrstufige Argumentationsaufgaben, da (1) DPO auf gepaarten Präferenzdaten beruht, die für mehrstufige Argumentationsaufgaben nicht leicht verfügbar sind, und (2) sie alle Token gleich behandelt, was sie für die Kreditzuweisung bei mehrstufigen Argumentationsaufgaben, die oft mit spärlichen Belohnungen einhergehen, ineffektiv macht. In dieser Arbeit schlagen wir OREO (Offline Reasoning Optimization) vor, eine Methode des offline RL zur Verbesserung der mehrstufigen Argumentation von LLMs. Aufbauend auf Erkenntnissen früherer Arbeiten des Maximum-Entropy-Verstärkungslernens lernt es gemeinsam ein Richtlinienmodell und eine Wertefunktion, indem es die weiche Bellman-Gleichung optimiert. Wir zeigen grundsätzlich, dass es den Bedarf an Sammlung von paarweisen Daten reduziert und eine bessere Kreditzuweisung ermöglicht. Empirisch übertrifft OREO bestehende offline Lernmethoden bei mehrstufigen Argumentations-Benchmarks, einschließlich mathematischer Argumentationsaufgaben (GSM8K, MATH) und der Steuerung verkörperter Agenten (ALFWorld). Der Ansatz kann auf ein Mehr-Iterations-Framework erweitert werden, wenn zusätzliche Ressourcen verfügbar sind. Darüber hinaus kann die gelernte Wertefunktion genutzt werden, um die Baum-Suche kostenlos zu führen, was die Leistung während der Testzeit weiter steigern kann.

English

Improving the multi-step reasoning ability of large language models (LLMs) with offline reinforcement learning (RL) is essential for quickly adapting them to complex tasks. While Direct Preference Optimization (DPO) has shown promise in aligning LLMs with human preferences, it is less suitable for multi-step reasoning tasks because (1) DPO relies on paired preference data, which is not readily available for multi-step reasoning tasks, and (2) it treats all tokens uniformly, making it ineffective for credit assignment in multi-step reasoning tasks, which often come with sparse reward. In this work, we propose OREO (Offline Reasoning Optimization), an offline RL method for enhancing LLM multi-step reasoning. Building on insights from previous works of maximum entropy reinforcement learning, it jointly learns a policy model and value function by optimizing the soft Bellman Equation. We show in principle that it reduces the need to collect pairwise data and enables better credit assignment. Empirically, OREO surpasses existing offline learning methods on multi-step reasoning benchmarks, including mathematical reasoning tasks (GSM8K, MATH) and embodied agent control (ALFWorld). The approach can be extended to a multi-iteration framework when additional resources are available. Furthermore, the learned value function can be leveraged to guide the tree search for free, which can further boost performance during test time.