PlanGEN: Een Multi-Agent Framework voor het Genereren van Plannings- en Redeneertrajecten voor Complex Probleemoplossing.

PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving

February 22, 2025

Auteurs: Mihir Parmar, Xin Liu, Palash Goyal, Yanfei Chen, Long Le, Swaroop Mishra, Hossein Mobahi, Jindong Gu, Zifeng Wang, Hootan Nakhost, Chitta Baral, Chen-Yu Lee, Tomas Pfister, Hamid Palangi

cs.AI

Samenvatting

Recente agent frameworks en algoritmes voor inferentie-tijd hebben vaak moeite met complexe planningsproblemen vanwege beperkingen bij het verifiëren van gegenereerde plannen of redeneren en variërende complexiteit van instanties binnen een enkele taak. Veel bestaande methoden voor deze taken voeren ofwel taakniveau-verificatie uit zonder rekening te houden met beperkingen, of passen inferentie-tijd algoritmes toe zonder zich aan te passen aan instantie-niveau complexiteit. Om deze beperkingen aan te pakken, stellen wij PlanGEN voor, een model-agnostisch en eenvoudig schaalbaar agent framework met drie kerncomponenten: constraint, verificatie en selectie agents. Specifiek stelt onze aanpak constraint-geleide iteratieve verificatie voor om de prestaties van inferentie-tijd algoritmes - Best of N, Tree-of-Thought en REBASE - te verbeteren. In het PlanGEN framework optimaliseert de selectie agent de keuze van algoritme op basis van instantiecomplexiteit, waardoor een betere aanpassingsvermogen aan complexe planningsproblemen wordt gegarandeerd. Experimentele resultaten tonen significante verbeteringen ten opzichte van de sterkste baseline over meerdere benchmarks, waarbij state-of-the-art resultaten worden behaald op NATURAL PLAN (ong. 8% verbetering), OlympiadBench (ong. 4% verbetering), DocFinQA (ong. 7% verbetering) en GPQA (ong. 1% verbetering). Onze belangrijkste bevinding benadrukt dat constraint-geleide iteratieve verificatie inferentie-tijd algoritmes verbetert, en adaptieve selectie de prestaties op complexe plannings- en redeneerproblemen verder verbetert.

English

Recent agent frameworks and inference-time algorithms often struggle with complex planning problems due to limitations in verifying generated plans or reasoning and varying complexity of instances within a single task. Many existing methods for these tasks either perform task-level verification without considering constraints or apply inference-time algorithms without adapting to instance-level complexity. To address these limitations, we propose PlanGEN, a model-agnostic and easily scalable agent framework with three key components: constraint, verification, and selection agents. Specifically, our approach proposes constraint-guided iterative verification to enhance performance of inference-time algorithms--Best of N, Tree-of-Thought, and REBASE. In PlanGEN framework, the selection agent optimizes algorithm choice based on instance complexity, ensuring better adaptability to complex planning problems. Experimental results demonstrate significant improvements over the strongest baseline across multiple benchmarks, achieving state-of-the-art results on NATURAL PLAN (sim8%uparrow), OlympiadBench (sim4%uparrow), DocFinQA (sim7%uparrow), and GPQA (sim1%uparrow). Our key finding highlights that constraint-guided iterative verification improves inference-time algorithms, and adaptive selection further boosts performance on complex planning and reasoning problems.