HDFlow: Verbesserung der komplexen Problemlösung von LLM durch hybrides Denken und dynamische Workflows

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

Autoren: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

Zusammenfassung

Trotz der jüngsten Fortschritte bei großen Sprachmodellen (LLMs) ist ihre Leistung bei komplexen Problemen des Denkens in mehreren Schritten und der Kombination verschiedener Fähigkeiten immer noch begrenzt. Um dies anzugehen, schlagen wir ein neuartiges Framework namens HDFlow für komplexes Denken mit LLMs vor, das schnelle und langsame Denkmodi auf adaptive Weise kombiniert. Unser Ansatz besteht aus zwei Schlüsselkomponenten: 1) ein neuer Ansatz für langsames, überlegtes Denken namens Dynamischer Workflow, der komplexe Probleme automatisch in handlichere Teilaufgaben zerlegt und dynamisch einen Workflow entwirft, um spezialisierte LLMs oder symbolische Denkwerkzeuge zur Lösung von Teilaufgaben zusammenzustellen; 2) Hybriddenken, ein allgemeines Framework, das schnelles und langsames Denken basierend auf der Problemkomplexität dynamisch kombiniert. Schließlich schlagen wir eine leicht skalierbare Methode zur automatischen Synthese eines groß angelegten Datensatzes von 27K herausfordernden Denkproblemen für komplexes Denken und eine Hybriddenk-Abstimmungsmethode vor, die kleinere LLMs auf diesem Datensatz trainiert, um die Hybrid-Denkstrategien für schnelles/langsames Denken zu internalisieren. Experimente mit vier Denk-Benchmark-Datensätzen zeigen, dass unser langsames Denken mit dynamischen Workflows signifikant besser abschneidet als Chain-of-Thought, und das Hybriddenken die höchste Genauigkeit erreicht, während es ein effektives Gleichgewicht zwischen Recheneffizienz und Leistung bietet. Das Feintuning mit unserem Hybriddenkansatz steigert auch signifikant die Fähigkeiten des komplexen Denkens von Open-Source-Sprachmodellen. Die Ergebnisse zeigen das Potenzial von langsamen Denken, dynamischen Workflows und Hybriddenken bei der Erweiterung der Grenzen der komplexen Problemlösung mit LLMs. Code und Daten werden unter \url{https://github.com/wenlinyao/HDFlow.} veröffentlicht.

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.