Rivelazione delle Barriere degli Agenti Linguistici nella Pianificazione

Revealing the Barriers of Language Agents in Planning

October 16, 2024

Autori: Jian Xie, Kexun Zhang, Jiangjie Chen, Siyu Yuan, Kai Zhang, Yikai Zhang, Lei Li, Yanghua Xiao

cs.AI

Abstract

La pianificazione autonoma è stata una ricerca in corso fin dall'inizio dell'intelligenza artificiale. Basandosi su risolutori di problemi selezionati, i primi agenti di pianificazione potevano fornire soluzioni precise per compiti specifici ma mancavano di generalizzazione. L'emergere dei grandi modelli linguistici (LLM) e le loro potenti capacità di ragionamento hanno riacceso l'interesse per la pianificazione autonoma generando automaticamente soluzioni ragionevoli per compiti specifici. Tuttavia, ricerche precedenti e i nostri esperimenti mostrano che gli attuali agenti linguistici ancora mancano delle capacità di pianificazione di livello umano. Anche il modello di ragionamento all'avanguardia, OpenAI o1, raggiunge solo il 15,6% in uno dei complessi benchmark di pianificazione del mondo reale. Questo mette in evidenza una domanda critica: Cosa impedisce agli agenti linguistici di raggiungere una pianificazione di livello umano? Anche se studi esistenti hanno evidenziato una scarsa performance nella pianificazione degli agenti, le questioni sottostanti più profonde e i meccanismi e le limitazioni delle strategie proposte per affrontarle rimangono insufficientemente compresi. In questo lavoro, applichiamo lo studio di attribuzione delle caratteristiche e identifichiamo due fattori chiave che ostacolano la pianificazione degli agenti: il ruolo limitato dei vincoli e l'influenza ridotta delle domande. Troviamo anche che, sebbene le strategie attuali aiutino a mitigare queste sfide, non le risolvono completamente, indicando che gli agenti hanno ancora molta strada da fare prima di raggiungere un'intelligenza di livello umano.

English

Autonomous planning has been an ongoing pursuit since the inception of artificial intelligence. Based on curated problem solvers, early planning agents could deliver precise solutions for specific tasks but lacked generalization. The emergence of large language models (LLMs) and their powerful reasoning capabilities has reignited interest in autonomous planning by automatically generating reasonable solutions for given tasks. However, prior research and our experiments show that current language agents still lack human-level planning abilities. Even the state-of-the-art reasoning model, OpenAI o1, achieves only 15.6% on one of the complex real-world planning benchmarks. This highlights a critical question: What hinders language agents from achieving human-level planning? Although existing studies have highlighted weak performance in agent planning, the deeper underlying issues and the mechanisms and limitations of the strategies proposed to address them remain insufficiently understood. In this work, we apply the feature attribution study and identify two key factors that hinder agent planning: the limited role of constraints and the diminishing influence of questions. We also find that although current strategies help mitigate these challenges, they do not fully resolve them, indicating that agents still have a long way to go before reaching human-level intelligence.