Pangu-Agent: Um Agente Generalista Ajustável com Raciocínio Estruturado

Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

December 22, 2023

Autores: Filippos Christianos, Georgios Papoudakis, Matthieu Zimmer, Thomas Coste, Zhihao Wu, Jingxuan Chen, Khyati Khandelwal, James Doran, Xidong Feng, Jiacheng Liu, Zheng Xiong, Yicheng Luo, Jianye Hao, Kun Shao, Haitham Bou-Ammar, Jun Wang

cs.AI

Resumo

Um método fundamental para criar agentes de Inteligência Artificial (IA) é o Aprendizado por Reforço (RL). No entanto, a construção de uma política de RL autônoma que mapeie percepção diretamente para ação enfrenta problemas significativos, sendo os principais a falta de generalidade em múltiplas tarefas e a necessidade de uma grande quantidade de dados de treinamento. A causa principal é que ela não consegue integrar efetivamente informações prévias no ciclo percepção-ação ao elaborar a política. Modelos de linguagem de grande escala (LLMs) surgiram como uma forma fundamental de incorporar conhecimento de múltiplos domínios em agentes de IA, mas carecem de aprendizado e adaptação crucial para problemas de decisão específicos. Este artigo apresenta um modelo de framework geral para integrar e aprender raciocínio estruturado nas políticas de agentes de IA. Nossa metodologia é motivada pela modularidade encontrada no cérebro humano. O framework utiliza a construção de funções intrínsecas e extrínsecas para adicionar compreensões prévias de estruturas de raciocínio. Ele também fornece a capacidade adaptativa de aprender modelos dentro de cada módulo ou função, consistente com a estrutura modular dos processos cognitivos. Descrevemos o framework em detalhes e o comparamos com outros pipelines de IA e frameworks existentes. O artigo explora aplicações práticas, abrangendo experimentos que demonstram a eficácia do nosso método. Nossos resultados indicam que agentes de IA desempenham e se adaptam muito melhor quando o raciocínio organizado e o conhecimento prévio são incorporados. Isso abre caminho para sistemas de agentes de IA mais resilientes e gerais.

English

A key method for creating Artificial Intelligence (AI) agents is Reinforcement Learning (RL). However, constructing a standalone RL policy that maps perception to action directly encounters severe problems, chief among them being its lack of generality across multiple tasks and the need for a large amount of training data. The leading cause is that it cannot effectively integrate prior information into the perception-action cycle when devising the policy. Large language models (LLMs) emerged as a fundamental way to incorporate cross-domain knowledge into AI agents but lack crucial learning and adaptation toward specific decision problems. This paper presents a general framework model for integrating and learning structured reasoning into AI agents' policies. Our methodology is motivated by the modularity found in the human brain. The framework utilises the construction of intrinsic and extrinsic functions to add previous understandings of reasoning structures. It also provides the adaptive ability to learn models inside every module or function, consistent with the modular structure of cognitive processes. We describe the framework in-depth and compare it with other AI pipelines and existing frameworks. The paper explores practical applications, covering experiments that show the effectiveness of our method. Our results indicate that AI agents perform and adapt far better when organised reasoning and prior knowledge are embedded. This opens the door to more resilient and general AI agent systems.