HDFlow: 하이브리드 사고와 동적 워크플로우를 활용한 LLM 복잡한 문제 해결 강화

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

저자: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

초록

최근 대형 언어 모델(LLMs)의 발전에도 불구하고, 다단계 사고와 다양한 기술을 결합해야 하는 복잡한 추론 문제에 대한 성능은 여전히 제한적입니다. 이에 대응하기 위해, 우리는 LLMs와 복잡한 추론을 위한 새로운 프레임워크 HDFlow를 제안합니다. 이 프레임워크는 빠른 사고와 느린 사고 모드를 적응적으로 결합하는 방식으로 복잡한 추론에 대응합니다. 우리의 접근 방식은 두 가지 주요 구성 요소로 구성됩니다. 첫째, 느린, 신중한 추론을 위한 새로운 방법인 Dynamic Workflow로, 복잡한 문제를 자동으로 보다 처리 가능한 하위 작업으로 분해하고, 하위 작업을 해결하기 위해 전문화된 LLM 또는 상징적 추론 도구를 조합하기 위한 워크플로우를 동적으로 설계합니다. 둘째, 문제 복잡성을 기반으로 빠른 사고와 느린 사고를 동적으로 결합하는 일반적인 프레임워크인 Hybrid Thinking입니다. 마지막으로, 복잡한 추론을 위해 27,000개의 도전적인 추론 문제로 구성된 대규모 데이터셋을 자동으로 합성하는 쉽게 확장 가능한 방법과, 이 데이터셋에서 작은 LLM을 훈련시켜 빠른/느린 혼합 추론 전략을 내재화하는 Hybrid Thinking 튜닝 방법을 제안합니다. 네 가지 추론 벤치마크 데이터셋에서의 실험 결과는, 우리의 느린 사고와 동적 워크플로우가 Chain-of-Thought보다 효과적임을 보여주며, 하이브리드 사고는 계산 효율성과 성능 사이의 효과적인 균형을 제공하면서 최고의 정확도를 달성한다는 것을 보여줍니다. 우리의 하이브리드 사고 접근 방식을 사용한 세밀한 튜닝은 오픈 소스 언어 모델의 복잡한 추론 능력을 크게 향상시킵니다. 이 결과는 LLMs와 함께 복잡한 문제 해결의 경계를 확장하는 느린 사고, 동적 워크플로우 및 하이브리드 사고의 가능성을 보여줍니다. 코드와 데이터는 \url{https://github.com/wenlinyao/HDFlow}에서 공개될 예정입니다.

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.