PlanGEN: Un Framework Multi-Agente per la Generazione di Pianificazione e Percorsi di Ragionamento per la Risoluzione di Problemi Complessi

PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving

February 22, 2025

Autori: Mihir Parmar, Xin Liu, Palash Goyal, Yanfei Chen, Long Le, Swaroop Mishra, Hossein Mobahi, Jindong Gu, Zifeng Wang, Hootan Nakhost, Chitta Baral, Chen-Yu Lee, Tomas Pfister, Hamid Palangi

cs.AI

Abstract

I recenti framework degli agenti e gli algoritmi di inferenza spesso faticano con problemi di pianificazione complessi a causa delle limitazioni nella verifica dei piani generati o del ragionamento e della complessità variabile delle istanze all'interno di un singolo compito. Molti metodi esistenti per questi compiti eseguono la verifica a livello di compito senza considerare vincoli o applicano algoritmi di inferenza senza adattarsi alla complessità a livello di istanza. Per affrontare queste limitazioni, proponiamo PlanGEN, un framework di agenti modello-agnostico e facilmente scalabile con tre componenti chiave: agenti di vincolo, verifica e selezione. In particolare, il nostro approccio propone una verifica iterativa guidata dai vincoli per migliorare le prestazioni degli algoritmi di inferenza - Best of N, Tree-of-Thought e REBASE. Nel framework di PlanGEN, l'agente di selezione ottimizza la scelta dell'algoritmo in base alla complessità dell'istanza, garantendo una migliore adattabilità ai problemi di pianificazione complessi. I risultati sperimentali dimostrano miglioramenti significativi rispetto alla linea di base più forte su più benchmark, raggiungendo risultati all'avanguardia su NATURAL PLAN (sim8%uparrow), OlympiadBench (sim4%uparrow), DocFinQA (sim7%uparrow) e GPQA (sim1%uparrow). La nostra scoperta chiave sottolinea che la verifica iterativa guidata dai vincoli migliora gli algoritmi di inferenza, e la selezione adattiva potenzia ulteriormente le prestazioni su problemi complessi di pianificazione e ragionamento.

English

Recent agent frameworks and inference-time algorithms often struggle with complex planning problems due to limitations in verifying generated plans or reasoning and varying complexity of instances within a single task. Many existing methods for these tasks either perform task-level verification without considering constraints or apply inference-time algorithms without adapting to instance-level complexity. To address these limitations, we propose PlanGEN, a model-agnostic and easily scalable agent framework with three key components: constraint, verification, and selection agents. Specifically, our approach proposes constraint-guided iterative verification to enhance performance of inference-time algorithms--Best of N, Tree-of-Thought, and REBASE. In PlanGEN framework, the selection agent optimizes algorithm choice based on instance complexity, ensuring better adaptability to complex planning problems. Experimental results demonstrate significant improvements over the strongest baseline across multiple benchmarks, achieving state-of-the-art results on NATURAL PLAN (sim8%uparrow), OlympiadBench (sim4%uparrow), DocFinQA (sim7%uparrow), and GPQA (sim1%uparrow). Our key finding highlights that constraint-guided iterative verification improves inference-time algorithms, and adaptive selection further boosts performance on complex planning and reasoning problems.