절차적 그래프: LLM 에이전트를 위한 자기 진화형 실행 구조

초록

대규모 언어 모델은 장기적인 계획을 수립하고 외부 도구를 통해 행동하는 에이전트로 점점 더 많이 배포되고 있다. 대부분의 에이전트는 누적되는 이력에 대해 제약 없는 생성을 통해 행동을 선택하며, 무엇을, 어떤 순서로, 어떤 조건에서 해야 하는지에 대한 절차적 지식을 암묵적으로 남긴다. 궤적이 길어짐에 따라 에이전트는 목표를 놓치고, 도구를 순서에 맞지 않게 호출하며, 비생산적인 행동을 반복할 수 있다. 우리는 절차 그래프(Procedural Graph)를 소개한다: 지식 그래프가 '무엇인가' 질문에 대해 사실적 지식을 (개체, 관계, 개체) 트리플릿으로 조직화하는 것처럼, 절차 그래프는 '무엇을 해야 하는가' 질문에 대해 절차적 지식을 (절차, 관계, 절차) 트리플릿으로 조직화한다. 각 결정 단계에서 프레임워크는 에이전트의 활성 노드를 찾아내고, 가이던스 모델은 주변 서브그래프를 단계 수준의 상황적 가이던스로 변환하여 솔버의 다음 행동을 편향시키되 강제하지는 않는다. 이 그래프는 스스로 진화한다: LLM 정제기는 실패한 궤적과 성공한 궤적을 대조하고 그래프의 토폴로지와 속성을 편집하며, 홀드아웃 검증 성능을 유지하거나 향상시키는 편집을 커밋하는 한편, 반복을 억제하기 위해 거부된 편집들은 유지한다. 최소한의 골격에서 시작하여, 이 루프는 수작업으로 설계된 그래프와 대등하거나 능가하는 그래프를 구축한다. 또한 결함이 있는 전문가 사전 지식을 교정할 수 있다. 여러 데이터셋, 작업 유형, LLM에 걸쳐, 절차 그래프는 메모리 기반 베이스라인보다 일관된 성능 향상을 제공하며, 자기 진화는 수동 엔지니어링 없이 성능을 더욱 향상시킨다.

English

Large language models are increasingly deployed as agents that plan over long horizons and act through external tools. Most agents select actions through unconstrained generation over an accumulating history, leaving implicit the procedural knowledge of what to do, in what order, and under which conditions. As trajectories lengthen, agents can lose track of their objectives, invoke tools out of order, and repeat unproductive actions. We introduce the Procedural Graph: just as a knowledge graph organizes factual knowledge into (entity, relation, entity) triplets for what-is questions, a Procedural Graph organizes procedural knowledge into (procedure, relation, procedure) triplets for what-to-do questions. At each decision step, the framework localizes the agent's active node, and a guidance model translates the surrounding subgraph into step-level situational guidance that biases the solver's next action without dictating it. The graph is self-evolving: an LLM refiner contrasts failed trajectories with successful ones and edits the graph's topology and attributes, committing edits that preserve or improve held-out validation performance while retaining rejected ones to discourage repetition. Starting from a minimal skeleton, the loop builds graphs that match or surpass hand-designed ones. It can also repair a flawed expert prior. Across multiple datasets, task types, and LLMs, the Procedural Graph delivers consistent gains over memory-based baselines, and self-evolution further improves performance without manual engineering.