HDFlow: Het verbeteren van LLM complex probleemoplossing met hybride denken en dynamische workflows.

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

Auteurs: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

Samenvatting

Ondanks recente vooruitgang in grote taalmodellen (LLM's), is hun prestatie op complexe redeneervraagstukken die multi-stap denken en het combineren van verschillende vaardigheden vereisen nog steeds beperkt. Om dit aan te pakken, stellen we een nieuw raamwerk HDFlow voor complex redeneren met LLM's voor dat op een adaptieve manier snelle en langzame denkmodi combineert. Onze aanpak bestaat uit twee belangrijke componenten: 1) een nieuwe benadering voor langzaam, doelbewust redeneren genaamd Dynamische Workflow, die automatisch complexe problemen opdeelt in meer behapbare subtaken en dynamisch een workflow ontwerpt om gespecialiseerde LLM's of symbolisch redenerende tools samen te stellen om subtaken op te lossen; 2) Hybride Denken, een algemeen raamwerk dat op basis van probleemcomplexiteit dynamisch snel en langzaam denken combineert. Tot slot stellen we een eenvoudig op te schalen methode voor om automatisch een grootschalige dataset van 27K uitdagende redeneervraagstukken voor complex redeneren te synthetiseren en een hybride denkafstemmingsmethode die kleinere LLM's traint op deze dataset om de snel/langzaam hybride redeneerstrategieën te internaliseren. Experimenten op vier redeneerbenchmarkdatasets tonen aan dat ons langzame denken met dynamische workflows aanzienlijk beter presteert dan Chain-of-Thought, en hybride denken de hoogste nauwkeurigheid behaalt terwijl het een effectieve balans biedt tussen rekenkundige efficiëntie en prestatie. Het fijnafstemmen met behulp van onze hybride denkaanpak verhoogt ook aanzienlijk de complexe redeneervaardigheden van open-source taalmodellen. De resultaten tonen de belofte van langzaam denken, dynamische workflows en hybride denken in het uitbreiden van de grenzen van complex probleemoplossing met LLM's. Code en data worden vrijgegeven op \url{https://github.com/wenlinyao/HDFlow.}.

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.