Pangu-Agent: Ein fein abstimmbarer Generalist-Agent mit strukturierter Argumentation

Zusammenfassung

Eine zentrale Methode zur Erstellung von Künstlicher Intelligenz (KI)-Agenten ist das Reinforcement Learning (RL). Allerdings stößt die Konstruktion einer eigenständigen RL-Politik, die Wahrnehmung direkt in Aktionen abbildet, auf erhebliche Probleme, vor allem auf deren mangelnde Allgemeingültigkeit über mehrere Aufgaben hinweg und den Bedarf an einer großen Menge an Trainingsdaten. Die Hauptursache hierfür ist, dass sie bei der Entwicklung der Politk nicht effektiv Vorwissen in den Wahrnehmungs-Aktions-Zyklus integrieren kann. Große Sprachmodelle (LLMs) haben sich als grundlegende Möglichkeit erwiesen, domänenübergreifendes Wissen in KI-Agenten einzubinden, ihnen fehlt jedoch die entscheidende Lern- und Anpassungsfähigkeit für spezifische Entscheidungsprobleme. Dieses Papier stellt ein allgemeines Rahmenmodell vor, das strukturiertes Denken in die Politiken von KI-Agenten integriert und erlernt. Unsere Methodik ist von der Modularität des menschlichen Gehirns inspiriert. Das Framework nutzt die Konstruktion intrinsischer und extrinsischer Funktionen, um vorheriges Verständnis von Denkstrukturen einzubinden. Es bietet zudem die adaptive Fähigkeit, Modelle innerhalb jedes Moduls oder jeder Funktion zu lernen, was mit der modularen Struktur kognitiver Prozesse übereinstimmt. Wir beschreiben das Framework detailliert und vergleichen es mit anderen KI-Pipelines und bestehenden Frameworks. Das Papier untersucht praktische Anwendungen und umfasst Experimente, die die Wirksamkeit unserer Methode zeigen. Unsere Ergebnisse deuten darauf hin, dass KI-Agenten deutlich besser abschneiden und sich anpassen, wenn strukturiertes Denken und Vorwissen eingebettet sind. Dies ebnet den Weg für widerstandsfähigere und allgemeinere KI-Agentensysteme.

English

A key method for creating Artificial Intelligence (AI) agents is Reinforcement Learning (RL). However, constructing a standalone RL policy that maps perception to action directly encounters severe problems, chief among them being its lack of generality across multiple tasks and the need for a large amount of training data. The leading cause is that it cannot effectively integrate prior information into the perception-action cycle when devising the policy. Large language models (LLMs) emerged as a fundamental way to incorporate cross-domain knowledge into AI agents but lack crucial learning and adaptation toward specific decision problems. This paper presents a general framework model for integrating and learning structured reasoning into AI agents' policies. Our methodology is motivated by the modularity found in the human brain. The framework utilises the construction of intrinsic and extrinsic functions to add previous understandings of reasoning structures. It also provides the adaptive ability to learn models inside every module or function, consistent with the modular structure of cognitive processes. We describe the framework in-depth and compare it with other AI pipelines and existing frameworks. The paper explores practical applications, covering experiments that show the effectiveness of our method. Our results indicate that AI agents perform and adapt far better when organised reasoning and prior knowledge are embedded. This opens the door to more resilient and general AI agent systems.

Pangu-Agent: Ein fein abstimmbarer Generalist-Agent mit strukturierter Argumentation

Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

Zusammenfassung

Support