Pangu-Agent: Un Agente Generalista Regolabile con Ragionamento Strutturato

Abstract

Un metodo chiave per creare agenti di Intelligenza Artificiale (AI) è l'Apprendimento per Rinforzo (Reinforcement Learning, RL). Tuttavia, la costruzione di una politica RL autonoma che mappa direttamente la percezione all'azione incontra gravi problemi, tra cui principalmente la mancanza di generalità su più compiti e la necessità di una grande quantità di dati di addestramento. La causa principale è l'incapacità di integrare efficacemente informazioni pregresse nel ciclo percezione-azione durante la progettazione della politica. I modelli linguistici di grandi dimensioni (Large Language Models, LLMs) sono emersi come un modo fondamentale per incorporare conoscenze trasversali negli agenti AI, ma mancano di capacità cruciali di apprendimento e adattamento verso specifici problemi decisionali. Questo articolo presenta un modello di framework generale per integrare e apprendere ragionamenti strutturati nelle politiche degli agenti AI. La nostra metodologia è motivata dalla modularità presente nel cervello umano. Il framework utilizza la costruzione di funzioni intrinseche ed estrinseche per aggiungere comprensioni pregresse delle strutture di ragionamento. Fornisce inoltre la capacità adattativa di apprendere modelli all'interno di ogni modulo o funzione, in linea con la struttura modulare dei processi cognitivi. Descriviamo il framework in dettaglio e lo confrontiamo con altre pipeline AI e framework esistenti. L'articolo esplora applicazioni pratiche, includendo esperimenti che dimostrano l'efficacia del nostro metodo. I nostri risultati indicano che gli agenti AI performano e si adattano molto meglio quando il ragionamento organizzato e le conoscenze pregresse sono incorporati. Questo apre la strada a sistemi di agenti AI più resilienti e generali.

English

A key method for creating Artificial Intelligence (AI) agents is Reinforcement Learning (RL). However, constructing a standalone RL policy that maps perception to action directly encounters severe problems, chief among them being its lack of generality across multiple tasks and the need for a large amount of training data. The leading cause is that it cannot effectively integrate prior information into the perception-action cycle when devising the policy. Large language models (LLMs) emerged as a fundamental way to incorporate cross-domain knowledge into AI agents but lack crucial learning and adaptation toward specific decision problems. This paper presents a general framework model for integrating and learning structured reasoning into AI agents' policies. Our methodology is motivated by the modularity found in the human brain. The framework utilises the construction of intrinsic and extrinsic functions to add previous understandings of reasoning structures. It also provides the adaptive ability to learn models inside every module or function, consistent with the modular structure of cognitive processes. We describe the framework in-depth and compare it with other AI pipelines and existing frameworks. The paper explores practical applications, covering experiments that show the effectiveness of our method. Our results indicate that AI agents perform and adapt far better when organised reasoning and prior knowledge are embedded. This opens the door to more resilient and general AI agent systems.

Pangu-Agent: Un Agente Generalista Regolabile con Ragionamento Strutturato

Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

Abstract

Support