HDFlow : Amélioration de la résolution de problèmes complexes LLM avec une pensée hybride et des flux de travail dynamiques

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

Auteurs: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

Résumé

Malgré les récentes avancées dans les grands modèles de langage (GML), leurs performances sur des problèmes de raisonnement complexes nécessitant une réflexion multi-étapes et la combinaison de diverses compétences restent limitées. Pour remédier à cela, nous proposons un nouveau cadre, HDFlow, pour le raisonnement complexe avec les GML qui combine des modes de réflexion rapide et lente de manière adaptative. Notre approche se compose de deux composants clés : 1) une nouvelle approche pour un raisonnement lent et délibéré appelée Flux Dynamique, qui décompose automatiquement les problèmes complexes en sous-tâches plus gérables et conçoit dynamiquement un flux de travail pour assembler des outils spécialisés de GML ou de raisonnement symbolique pour résoudre les sous-tâches ; 2) Pensée Hybride, un cadre général qui combine dynamiquement la réflexion rapide et lente en fonction de la complexité du problème. Enfin, nous proposons une méthode facile à mettre à l'échelle pour la synthèse automatique d'un ensemble de données à grande échelle de 27K problèmes de raisonnement complexes et une méthode d'ajustement de la pensée hybride qui entraîne des GML plus petits sur cet ensemble de données pour intégrer les stratégies de raisonnement hybride rapide/lent. Les expériences sur quatre ensembles de données de référence en raisonnement démontrent que notre raisonnement lent avec des flux dynamiques surpasse significativement Chaîne-de-Pensée, et la pensée hybride atteint la plus haute précision tout en offrant un équilibre efficace entre l'efficacité computationnelle et les performances. Le réglage fin en utilisant notre approche de pensée hybride renforce également de manière significative les capacités de raisonnement complexe des modèles de langage open-source. Les résultats mettent en avant la promesse de la pensée lente, des flux dynamiques et de la pensée hybride dans l'expansion de la frontière de la résolution de problèmes complexes avec les GML. Le code et les données seront publiés sur \url{https://github.com/wenlinyao/HDFlow.}

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.