Pangu-Agent : Un agent généraliste ajustable avec raisonnement structuré

Résumé

Une méthode clé pour créer des agents d'Intelligence Artificielle (IA) est l'apprentissage par renforcement (Reinforcement Learning, RL). Cependant, la construction d'une politique RL autonome qui mappe directement la perception à l'action rencontre des problèmes majeurs, notamment son manque de généralité à travers plusieurs tâches et le besoin d'une grande quantité de données d'entraînement. La principale raison est qu'elle ne parvient pas à intégrer efficacement des informations préalables dans le cycle perception-action lors de l'élaboration de la politique. Les grands modèles de langage (Large Language Models, LLMs) sont apparus comme une manière fondamentale d'intégrer des connaissances interdomaines dans les agents IA, mais ils manquent de capacités cruciales d'apprentissage et d'adaptation pour des problèmes de décision spécifiques. Ce papier présente un modèle de cadre général pour intégrer et apprendre un raisonnement structuré dans les politiques des agents IA. Notre méthodologie s'inspire de la modularité observée dans le cerveau humain. Le cadre utilise la construction de fonctions intrinsèques et extrinsèques pour ajouter des compréhensions préalables des structures de raisonnement. Il offre également la capacité adaptative d'apprendre des modèles au sein de chaque module ou fonction, en cohérence avec la structure modulaire des processus cognitifs. Nous décrivons en détail ce cadre et le comparons à d'autres pipelines IA et cadres existants. Le papier explore des applications pratiques, couvrant des expériences qui démontrent l'efficacité de notre méthode. Nos résultats indiquent que les agents IA performent et s'adaptent bien mieux lorsque le raisonnement organisé et les connaissances préalables sont intégrés. Cela ouvre la voie à des systèmes d'agents IA plus résilients et généralistes.

English

A key method for creating Artificial Intelligence (AI) agents is Reinforcement Learning (RL). However, constructing a standalone RL policy that maps perception to action directly encounters severe problems, chief among them being its lack of generality across multiple tasks and the need for a large amount of training data. The leading cause is that it cannot effectively integrate prior information into the perception-action cycle when devising the policy. Large language models (LLMs) emerged as a fundamental way to incorporate cross-domain knowledge into AI agents but lack crucial learning and adaptation toward specific decision problems. This paper presents a general framework model for integrating and learning structured reasoning into AI agents' policies. Our methodology is motivated by the modularity found in the human brain. The framework utilises the construction of intrinsic and extrinsic functions to add previous understandings of reasoning structures. It also provides the adaptive ability to learn models inside every module or function, consistent with the modular structure of cognitive processes. We describe the framework in-depth and compare it with other AI pipelines and existing frameworks. The paper explores practical applications, covering experiments that show the effectiveness of our method. Our results indicate that AI agents perform and adapt far better when organised reasoning and prior knowledge are embedded. This opens the door to more resilient and general AI agent systems.

Pangu-Agent : Un agent généraliste ajustable avec raisonnement structuré

Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

Résumé

Support