HDFlow: Potenziare la Risoluzione di Problemi Complessi LLM con Pensiero Ibrido e Flussi di Lavoro Dinamici

HDFlow: Enhancing LLM Complex Problem-Solving with Hybrid Thinking and Dynamic Workflows

September 25, 2024

Autori: Wenlin Yao, Haitao Mi, Dong Yu

cs.AI

Abstract

Nonostante i recenti progressi nei modelli linguistici di grandi dimensioni (LLM), le loro prestazioni su problemi di ragionamento complessi che richiedono pensiero a più passaggi e combinazione di varie abilità sono ancora limitate. Per affrontare ciò, proponiamo un nuovo framework HDFlow per il ragionamento complesso con LLM che combina modalità di pensiero veloce e lento in modo adattivo. Il nostro approccio è composto da due componenti chiave: 1) un nuovo approccio per il ragionamento lento e deliberato chiamato Flusso Dinamico, che scompone automaticamente problemi complessi in sotto-task più gestibili e progetta dinamicamente un flusso di lavoro per assemblare strumenti LLM specializzati o di ragionamento simbolico per risolvere i sotto-task; 2) Pensiero Ibrido, un framework generale che combina in modo dinamico pensiero veloce e lento in base alla complessità del problema. Infine, proponiamo un metodo facile da scalare per la sintesi automatica di un dataset su larga scala di 27K problemi di ragionamento impegnativi per il ragionamento complesso e un metodo di sintonizzazione del pensiero ibrido che addestra LLM più piccoli su questo dataset per interiorizzare le strategie di ragionamento ibrido veloce/lento. Gli esperimenti su quattro dataset di benchmark di ragionamento dimostrano che il nostro pensiero lento con flussi di lavoro dinamici supera significativamente Chain-of-Thought, e il pensiero ibrido raggiunge la massima accuratezza fornendo un efficace equilibrio tra efficienza computazionale e prestazioni. Il raffinamento utilizzando il nostro approccio di pensiero ibrido potenzia significativamente le capacità di ragionamento complesso dei modelli linguistici open-source. I risultati mostrano la promessa del pensiero lento, dei flussi di lavoro dinamici e del pensiero ibrido nell'espandere il fronte della risoluzione di problemi complessi con LLM. Il codice e i dati saranno rilasciati su \url{https://github.com/wenlinyao/HDFlow.}

English

Despite recent advancements in large language models (LLMs), their performance on complex reasoning problems requiring multi-step thinking and combining various skills is still limited. To address this, we propose a novel framework HDFlow for complex reasoning with LLMs that combines fast and slow thinking modes in an adaptive manner. Our approach consists of two key components: 1) a new approach for slow, deliberate reasoning called Dynamic Workflow, which automatically decomposes complex problems into more manageable sub-tasks and dynamically designs a workflow to assemble specialized LLM or symbolic reasoning tools to solve sub-tasks; 2) Hybrid Thinking, a general framework that dynamically combines fast and slow thinking based on problem complexity. Finally, we propose an easy-to-scale method for automatically synthesizing a large-scale dataset of 27K challenging reasoning problems for complex reasoning and a hybrid thinking tuning method that trains smaller LLMs on this dataset to internalize the fast/slow hybrid reasoning strategies. Experiments on four reasoning benchmark datasets demonstrate that our slow thinking with dynamic workflows significantly outperforms Chain-of-Thought, and hybrid thinking achieves the highest accuracy while providing an effective balance between computational efficiency and performance. Fine-tuning using our hybrid thinking approach also significantly boosts the complex reasoning capabilities of open-source language models. The results showcase the promise of slow thinking, dynamic workflows, and hybrid thinking in expanding the frontier of complex problem-solving with LLMsCode and data will be released at \url{https://github.com/wenlinyao/HDFlow.}.