Pangu-Agent: Настраиваемый универсальный агент с структурированным рассуждением

Аннотация

Ключевым методом создания искусственного интеллекта (ИИ) является обучение с подкреплением (Reinforcement Learning, RL). Однако разработка автономной RL-политики, которая напрямую связывает восприятие с действиями, сталкивается с серьезными проблемами, главными из которых являются отсутствие универсальности для множества задач и необходимость большого объема обучающих данных. Основная причина заключается в том, что такая политика не может эффективно интегрировать предварительную информацию в цикл восприятия-действия при разработке стратегии. Крупные языковые модели (Large Language Models, LLMs) стали фундаментальным способом включения междисциплинарных знаний в агентов ИИ, но им не хватает способности к обучению и адаптации для решения конкретных задач принятия решений. В данной статье представлена общая модель интеграции и обучения структурированного рассуждения в политики агентов ИИ. Наша методология вдохновлена модульностью, наблюдаемой в человеческом мозге. Фреймворк использует построение внутренних и внешних функций для включения предшествующих знаний о структурах рассуждений. Он также обеспечивает адаптивную способность к обучению моделей внутри каждого модуля или функции, что согласуется с модульной структурой когнитивных процессов. Мы подробно описываем фреймворк и сравниваем его с другими подходами ИИ и существующими фреймворками. В статье исследуются практические применения, включая эксперименты, демонстрирующие эффективность нашего метода. Наши результаты показывают, что агенты ИИ работают и адаптируются значительно лучше, когда в них встроены организованные рассуждения и предварительные знания. Это открывает путь к созданию более устойчивых и универсальных систем агентов ИИ.

English

A key method for creating Artificial Intelligence (AI) agents is Reinforcement Learning (RL). However, constructing a standalone RL policy that maps perception to action directly encounters severe problems, chief among them being its lack of generality across multiple tasks and the need for a large amount of training data. The leading cause is that it cannot effectively integrate prior information into the perception-action cycle when devising the policy. Large language models (LLMs) emerged as a fundamental way to incorporate cross-domain knowledge into AI agents but lack crucial learning and adaptation toward specific decision problems. This paper presents a general framework model for integrating and learning structured reasoning into AI agents' policies. Our methodology is motivated by the modularity found in the human brain. The framework utilises the construction of intrinsic and extrinsic functions to add previous understandings of reasoning structures. It also provides the adaptive ability to learn models inside every module or function, consistent with the modular structure of cognitive processes. We describe the framework in-depth and compare it with other AI pipelines and existing frameworks. The paper explores practical applications, covering experiments that show the effectiveness of our method. Our results indicate that AI agents perform and adapt far better when organised reasoning and prior knowledge are embedded. This opens the door to more resilient and general AI agent systems.

Pangu-Agent: Настраиваемый универсальный агент с структурированным рассуждением

Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning

Аннотация

Support