HDFlow: Melhorando a Resolução de Problemas Complexos do LLM com Pensamento Híbrido e Fluxos de Trabalho Dinâmicos

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

Autores: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

Resumo

Apesar dos avanços recentes em modelos de linguagem grandes (LLMs), seu desempenho em problemas de raciocínio complexo que exigem pensamento de vários passos e combinação de várias habilidades ainda é limitado. Para lidar com isso, propomos um novo framework HDFlow para raciocínio complexo com LLMs que combina modos de pensamento rápido e lento de maneira adaptativa. Nossa abordagem consiste em dois componentes principais: 1) uma nova abordagem para raciocínio lento e deliberado chamada Fluxo Dinâmico, que decomponha automaticamente problemas complexos em subtarefas mais gerenciáveis e projeta dinamicamente um fluxo de trabalho para montar LLMs especializados ou ferramentas de raciocínio simbólico para resolver subtarefas; 2) Pensamento Híbrido, um framework geral que combina dinamicamente pensamento rápido e lento com base na complexidade do problema. Finalmente, propomos um método fácil de escalar para sintetizar automaticamente um conjunto de dados em grande escala com 27 mil problemas desafiadores para raciocínio complexo e um método de ajuste de pensamento híbrido que treina LLMs menores neste conjunto de dados para internalizar as estratégias de raciocínio híbrido rápido/lento. Experimentos em quatro conjuntos de dados de referência de raciocínio demonstram que nosso pensamento lento com fluxos de trabalho dinâmicos supera significativamente a Cadeia de Pensamento, e o pensamento híbrido alcança a maior precisão, proporcionando um equilíbrio eficaz entre eficiência computacional e desempenho. O ajuste fino usando nossa abordagem de pensamento híbrido também impulsiona significativamente as capacidades de raciocínio complexo de modelos de linguagem de código aberto. Os resultados destacam a promessa do pensamento lento, fluxos de trabalho dinâmicos e pensamento híbrido na expansão da fronteira da resolução de problemas complexos com LLMs. O código e os dados serão disponibilizados em \url{https://github.com/wenlinyao/HDFlow.}.

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.