Pangu-Agent: Un Agente Generalista Ajustable con Razonamiento Estructurado

Resumen

Un método clave para crear agentes de Inteligencia Artificial (IA) es el Aprendizaje por Refuerzo (RL, por sus siglas en inglés). Sin embargo, construir una política de RL independiente que mapee la percepción directamente a la acción enfrenta problemas severos, siendo los principales la falta de generalidad en múltiples tareas y la necesidad de una gran cantidad de datos de entrenamiento. La causa principal es que no puede integrar eficazmente información previa en el ciclo de percepción-acción al diseñar la política. Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) surgieron como una forma fundamental de incorporar conocimiento interdominio en los agentes de IA, pero carecen de aprendizaje y adaptación cruciales hacia problemas de decisión específicos. Este artículo presenta un marco de trabajo general para integrar y aprender razonamiento estructurado en las políticas de los agentes de IA. Nuestra metodología está motivada por la modularidad encontrada en el cerebro humano. El marco utiliza la construcción de funciones intrínsecas y extrínsecas para añadir comprensiones previas de estructuras de razonamiento. También proporciona la capacidad adaptativa para aprender modelos dentro de cada módulo o función, en consonancia con la estructura modular de los procesos cognitivos. Describimos el marco en profundidad y lo comparamos con otras arquitecturas de IA y marcos existentes. El artículo explora aplicaciones prácticas, cubriendo experimentos que muestran la efectividad de nuestro método. Nuestros resultados indican que los agentes de IA desempeñan y se adaptan mucho mejor cuando se incorporan razonamiento organizado y conocimiento previo. Esto abre la puerta a sistemas de agentes de IA más resilientes y generales.

English

A key method for creating Artificial Intelligence (AI) agents is Reinforcement Learning (RL). However, constructing a standalone RL policy that maps perception to action directly encounters severe problems, chief among them being its lack of generality across multiple tasks and the need for a large amount of training data. The leading cause is that it cannot effectively integrate prior information into the perception-action cycle when devising the policy. Large language models (LLMs) emerged as a fundamental way to incorporate cross-domain knowledge into AI agents but lack crucial learning and adaptation toward specific decision problems. This paper presents a general framework model for integrating and learning structured reasoning into AI agents' policies. Our methodology is motivated by the modularity found in the human brain. The framework utilises the construction of intrinsic and extrinsic functions to add previous understandings of reasoning structures. It also provides the adaptive ability to learn models inside every module or function, consistent with the modular structure of cognitive processes. We describe the framework in-depth and compare it with other AI pipelines and existing frameworks. The paper explores practical applications, covering experiments that show the effectiveness of our method. Our results indicate that AI agents perform and adapt far better when organised reasoning and prior knowledge are embedded. This opens the door to more resilient and general AI agent systems.

Pangu-Agent: Un Agente Generalista Ajustable con Razonamiento Estructurado

Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

Resumen

Support