HDFlow: Улучшение решения сложных проблем LLM с гибридным мышлением и динамическими рабочими процессами

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

Авторы: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

Аннотация

Несмотря на недавние достижения в области крупных языковых моделей (LLM), их производительность в решении сложных задач рассуждений, требующих многошагового мышления и объединения различных навыков, все еще ограничена. Для решения этой проблемы мы предлагаем новую концепцию HDFlow для сложных рассуждений с использованием LLM, которая объединяет быстрое и медленное мышление в адаптивном режиме. Наш подход состоит из двух основных компонентов: 1) нового подхода к медленному, обдуманному рассуждению под названием Динамический Рабочий Процесс, который автоматически декомпозирует сложные задачи на более управляемые подзадачи и динамически разрабатывает рабочий процесс для сборки специализированных LLM или символьных инструментов рассуждения для решения подзадач; 2) Гибкое Мышление, общая концепция, которая динамически объединяет быстрое и медленное мышление на основе сложности задачи. Наконец, мы предлагаем простой в масштабировании метод для автоматического синтеза крупномасштабного набора данных из 27 тыс. сложных задач рассуждений для сложных рассуждений и метод настройки гибкого мышления, который обучает более маленькие LLM на этом наборе данных для внедрения стратегий гибкого мышления быстрого/медленного характера. Эксперименты на четырех наборах данных для проверки рассуждений показывают, что наше медленное мышление с динамическими рабочими процессами значительно превосходит Chain-of-Thought, а гибкое мышление достигает наивысшей точности, обеспечивая эффективный баланс между вычислительной эффективностью и производительностью. Тонкая настройка с использованием нашего подхода гибкого мышления также значительно увеличивает возможности сложных рассуждений у языковых моделей с открытым исходным кодом. Результаты демонстрируют потенциал медленного мышления, динамических рабочих процессов и гибкого мышления в расширении границ сложного решения проблем с LLM. Код и данные будут доступны по ссылке \url{https://github.com/wenlinyao/HDFlow.}

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.