Агентная осведомлённая саморефлексия

Agentic Knowledgeable Self-awareness

April 4, 2025

Авторы: Shuofei Qiao, Zhisong Qiu, Baochang Ren, Xiaobin Wang, Xiangyuan Ru, Ningyu Zhang, Xiang Chen, Yong Jiang, Pengjun Xie, Fei Huang, Huajun Chen

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют значительные результаты в различных задачах агентского планирования. Однако традиционные подходы к планированию агентов используют методологию "полива по всей площади", которая без разбора внедряет золотые траектории, внешнюю обратную связь и знания предметной области в модели агентов. Этот подход игнорирует фундаментальный когнитивный принцип человека — ситуационную самоосознанность в процессе принятия решений, то есть способность динамически оценивать требования ситуации и стратегически использовать ресурсы. Мы предлагаем концепцию агентской осознанной самоосознанности (agentic knowledgeable self-awareness) для устранения этого пробела — новую парадигму, которая позволяет агентам на основе LLM автономно регулировать использование знаний. В частности, мы представляем KnowSelf, подход, ориентированный на данные, который наделяет агентов осознанной самоосознанностью, подобно людям. Конкретно, мы разрабатываем эвристический критерий оценки ситуации для маркировки специальных токенов на самостоятельно исследованных траекториях агента с целью сбора обучающих данных. Благодаря двухэтапному процессу обучения модель агента может переключаться между различными ситуациями, генерируя специфические специальные токены, достигая оптимальных результатов планирования с минимальными затратами. Наши эксперименты показывают, что KnowSelf превосходит различные сильные базовые подходы на разных задачах и моделях при минимальном использовании внешних знаний. Код доступен по адресу https://github.com/zjunlp/KnowSelf.

English

Large Language Models (LLMs) have achieved considerable performance across various agentic planning tasks. However, traditional agent planning approaches adopt a "flood irrigation" methodology that indiscriminately injects gold trajectories, external feedback, and domain knowledge into agent models. This practice overlooks the fundamental human cognitive principle of situational self-awareness during decision-making-the ability to dynamically assess situational demands and strategically employ resources during decision-making. We propose agentic knowledgeable self-awareness to address this gap, a novel paradigm enabling LLM-based agents to autonomously regulate knowledge utilization. Specifically, we propose KnowSelf, a data-centric approach that applies agents with knowledgeable self-awareness like humans. Concretely, we devise a heuristic situation judgement criterion to mark special tokens on the agent's self-explored trajectories for collecting training data. Through a two-stage training process, the agent model can switch between different situations by generating specific special tokens, achieving optimal planning effects with minimal costs. Our experiments demonstrate that KnowSelf can outperform various strong baselines on different tasks and models with minimal use of external knowledge. Code is available at https://github.com/zjunlp/KnowSelf.