PlanGEN: Ein Multi-Agenten-Framework zur Generierung von Planungs- und Begründungspfaden für komplexe Problemlösungen.
PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving
February 22, 2025
Autoren: Mihir Parmar, Xin Liu, Palash Goyal, Yanfei Chen, Long Le, Swaroop Mishra, Hossein Mobahi, Jindong Gu, Zifeng Wang, Hootan Nakhost, Chitta Baral, Chen-Yu Lee, Tomas Pfister, Hamid Palangi
cs.AI
Zusammenfassung
Aktuelle Agenten-Frameworks und Inferenzzeit-Algorithmen haben oft Schwierigkeiten mit komplexen Planungsproblemen aufgrund von Einschränkungen bei der Überprüfung generierter Pläne oder der Bewältigung der variierenden Komplexität von Instanzen innerhalb einer einzelnen Aufgabe. Viele bestehende Methoden für diese Aufgaben führen entweder eine Überprüfung auf Aufgabenebene ohne Berücksichtigung von Einschränkungen durch oder wenden Inferenzzeit-Algorithmen an, ohne sich an die Komplexität auf Instanzebene anzupassen. Um diese Einschränkungen zu bewältigen, schlagen wir PlanGEN vor, ein modellagnostisches und leicht skalierbares Agenten-Framework mit drei Schlüsselkomponenten: Constraint-, Überprüfungs- und Auswahlagenten. Speziell schlägt unser Ansatz eine constraintsgesteuerte iterative Überprüfung vor, um die Leistung von Inferenzzeit-Algorithmen - Best of N, Tree-of-Thought und REBASE - zu verbessern. Im PlanGEN-Framework optimiert der Auswahlagent die Algorithmusauswahl basierend auf der Instanzkomplexität, um eine bessere Anpassung an komplexe Planungsprobleme zu gewährleisten. Experimentelle Ergebnisse zeigen signifikante Verbesserungen gegenüber dem stärksten Baseline-Modell über mehrere Benchmarks hinweg und erzielen Spitzenleistung bei NATURAL PLAN (ca. 8 % Anstieg), OlympiadBench (ca. 4 % Anstieg), DocFinQA (ca. 7 % Anstieg) und GPQA (ca. 1 % Anstieg). Unsere wichtigste Erkenntnis hebt hervor, dass constraintsgeführte iterative Überprüfung Inferenzzeit-Algorithmen verbessert und die adaptive Auswahl die Leistung bei komplexen Planungs- und Schlussfolgerungsproblemen weiter steigert.
English
Recent agent frameworks and inference-time algorithms often struggle with
complex planning problems due to limitations in verifying generated plans or
reasoning and varying complexity of instances within a single task. Many
existing methods for these tasks either perform task-level verification without
considering constraints or apply inference-time algorithms without adapting to
instance-level complexity. To address these limitations, we propose PlanGEN, a
model-agnostic and easily scalable agent framework with three key components:
constraint, verification, and selection agents. Specifically, our approach
proposes constraint-guided iterative verification to enhance performance of
inference-time algorithms--Best of N, Tree-of-Thought, and REBASE. In PlanGEN
framework, the selection agent optimizes algorithm choice based on instance
complexity, ensuring better adaptability to complex planning problems.
Experimental results demonstrate significant improvements over the strongest
baseline across multiple benchmarks, achieving state-of-the-art results on
NATURAL PLAN (sim8%uparrow), OlympiadBench (sim4%uparrow), DocFinQA
(sim7%uparrow), and GPQA (sim1%uparrow). Our key finding highlights
that constraint-guided iterative verification improves inference-time
algorithms, and adaptive selection further boosts performance on complex
planning and reasoning problems.