HDFlow：ハイブリッド思考と動的ワークフローによるLLM複雑な問題解決の向上

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

著者: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

要旨

最近の大規模言語モデル（LLMs）の進歩にもかかわらず、複数のスキルを組み合わせた多段階の思考を必要とする複雑な推論問題における性能は依然として限られています。この課題に対処するために、私たちはLLMsを用いた複雑な推論のための新しいフレームワークであるHDFlowを提案します。このフレームワークは、適応的に高速思考モードと遅速思考モードを組み合わせます。私たちのアプローチには、2つの主要なコンポーネントがあります。1つ目は、Dynamic Workflowと呼ばれる遅い慎重な推論の新しいアプローチであり、複雑な問題を自動的により管理しやすいサブタスクに分解し、専門のLLMや記号推論ツールを組み立てるためのワークフローを動的に設計します。2つ目は、問題の複雑さに基づいて高速思考と遅速思考を動的に組み合わせる一般的なフレームワークであるHybrid Thinkingです。最後に、27,000の難解な推論問題の大規模データセットを自動的に合成するための簡単にスケーラブルな手法と、このデータセットで小規模LLMsを訓練して高速/遅速ハイブリッド推論戦略を内部化するハイブリッド思考チューニング手法を提案します。4つの推論ベンチマークデータセットでの実験結果は、遅速思考と動的ワークフローがChain-of-Thoughtを大幅に上回り、ハイブリッド思考が最も高い精度を達成し、計算効率と性能の間で効果的なバランスを提供していることを示しています。ハイブリッド思考アプローチを使用したファインチューニングは、オープンソースの言語モデルの複雑な推論能力を大幅に向上させます。これらの結果は、遅速思考、動的ワークフロー、およびハイブリッド思考がLLMsを用いた複雑な問題解決のフロンティアを拡大する可能性を示しています。コードとデータは\url{https://github.com/wenlinyao/HDFlow.}で公開されます。

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.