Révélation des Barrières des Agents Linguistiques dans la Planification

Revealing the Barriers of Language Agents in Planning

October 16, 2024

Auteurs: Jian Xie, Kexun Zhang, Jiangjie Chen, Siyu Yuan, Kai Zhang, Yikai Zhang, Lei Li, Yanghua Xiao

cs.AI

Résumé

La planification autonome est une quête continue depuis les débuts de l'intelligence artificielle. Basés sur des solveurs de problèmes sélectionnés, les premiers agents de planification pouvaient fournir des solutions précises pour des tâches spécifiques mais manquaient de généralisation. L'émergence des grands modèles de langage (GML) et de leurs puissantes capacités de raisonnement a ravivé l'intérêt pour la planification autonome en générant automatiquement des solutions raisonnables pour des tâches données. Cependant, les recherches antérieures et nos expériences montrent que les agents de langage actuels manquent encore des capacités de planification de niveau humain. Même le modèle de raisonnement de pointe, OpenAI o1, n'atteint que 15,6 % sur l'un des benchmarks de planification réels complexes. Cela soulève une question cruciale : qu'est-ce qui empêche les agents de langage d'atteindre une planification de niveau humain ? Bien que des études existantes aient souligné une faible performance dans la planification des agents, les problèmes sous-jacents plus profonds, ainsi que les mécanismes et les limitations des stratégies proposées pour les résoudre, restent insuffisamment compris. Dans ce travail, nous appliquons l'étude de l'attribution des caractéristiques et identifions deux facteurs clés qui entravent la planification des agents : le rôle limité des contraintes et l'influence décroissante des questions. Nous constatons également que bien que les stratégies actuelles aident à atténuer ces défis, elles ne les résolvent pas entièrement, ce qui indique que les agents ont encore un long chemin à parcourir avant d'atteindre une intelligence de niveau humain.

English

Autonomous planning has been an ongoing pursuit since the inception of artificial intelligence. Based on curated problem solvers, early planning agents could deliver precise solutions for specific tasks but lacked generalization. The emergence of large language models (LLMs) and their powerful reasoning capabilities has reignited interest in autonomous planning by automatically generating reasonable solutions for given tasks. However, prior research and our experiments show that current language agents still lack human-level planning abilities. Even the state-of-the-art reasoning model, OpenAI o1, achieves only 15.6% on one of the complex real-world planning benchmarks. This highlights a critical question: What hinders language agents from achieving human-level planning? Although existing studies have highlighted weak performance in agent planning, the deeper underlying issues and the mechanisms and limitations of the strategies proposed to address them remain insufficiently understood. In this work, we apply the feature attribution study and identify two key factors that hinder agent planning: the limited role of constraints and the diminishing influence of questions. We also find that although current strategies help mitigate these challenges, they do not fully resolve them, indicating that agents still have a long way to go before reaching human-level intelligence.