HDFlow: Mejorando la resolución de problemas complejos de LLM con Pensamiento Híbrido y Flujos de Trabajo Dinámicos

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

Autores: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

Resumen

A pesar de los avances recientes en modelos de lenguaje grandes (LLMs, por sus siglas en inglés), su rendimiento en problemas de razonamiento complejo que requieren pensamiento de múltiples pasos y la combinación de varias habilidades sigue siendo limitado. Para abordar esto, proponemos un nuevo marco denominado HDFlow para el razonamiento complejo con LLMs que combina modos de pensamiento rápido y lento de manera adaptativa. Nuestro enfoque consta de dos componentes clave: 1) un nuevo enfoque para el razonamiento lento y deliberado llamado Flujo Dinámico, que descompone automáticamente problemas complejos en subtareas más manejables y diseña dinámicamente un flujo de trabajo para ensamblar LLMs especializados o herramientas de razonamiento simbólico para resolver las subtareas; 2) Pensamiento Híbrido, un marco general que combina dinámicamente el pensamiento rápido y lento según la complejidad del problema. Finalmente, proponemos un método fácil de escalar para sintetizar automáticamente un conjunto de datos a gran escala de 27K problemas de razonamiento desafiantes para el razonamiento complejo y un método de ajuste de pensamiento híbrido que entrena LLMs más pequeños en este conjunto de datos para interiorizar las estrategias de razonamiento híbrido rápido/lento. Experimentos en cuatro conjuntos de datos de referencia de razonamiento demuestran que nuestro pensamiento lento con flujos dinámicos supera significativamente a Chain-of-Thought, y el pensamiento híbrido logra la mayor precisión al proporcionar un equilibrio efectivo entre eficiencia computacional y rendimiento. El ajuste fino utilizando nuestro enfoque de pensamiento híbrido también aumenta significativamente las capacidades de razonamiento complejo de los modelos de lenguaje de código abierto. Los resultados muestran la promesa del pensamiento lento, los flujos dinámicos y el pensamiento híbrido en expandir la frontera de la resolución de problemas complejos con LLMs. El código y los datos se publicarán en \url{https://github.com/wenlinyao/HDFlow.}

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.