プロシージャルグラフ：LLMエージェントのための自己進化型実行構造

要旨

大規模言語モデルは、長期的な視野で計画を立て、外部ツールを通じて行動するエージェントとしてますます導入されている。ほとんどのエージェントは、蓄積される履歴に対する制約のない生成を通じて行動を選択し、何を、どのような順序で、どのような条件で行うかという手続き的知識を暗黙的なものにしている。軌跡が長くなるにつれて、エージェントは目的を見失い、ツールを誤った順序で呼び出し、非生産的な行動を繰り返す可能性がある。我々は手続きグラフを導入する。知識グラフが「何であるか」の問いに対して事実的知識を（エンティティ、関係、エンティティ）の三つ組に組織化するように、手続きグラフは「何をすべきか」の問いに対して手続き的知識を（手続き、関係、手続き）の三つ組に組織化する。各決定ステップで、フレームワークはエージェントのアクティブノードを特定し、ガイダンスモデルが周囲のサブグラフをステップレベルの状況的ガイダンスに変換し、それがソルバーの次の行動にバイアスをかけるが、指示はしない。グラフは自己進化する。LLMリファイナーが失敗した軌跡と成功した軌跡を対比し、グラフのトポロジーと属性を編集し、ホールドアウト検証性能を維持または改善する編集をコミットする一方で、却下されたものを保持して繰り返しを抑制する。最小限のスケルトンから出発して、このループは手設計のグラフに匹敵するか凌駕するグラフを構築する。また、欠陥のある専門家の事前知識を修復することもできる。複数のデータセット、タスクタイプ、LLMにわたって、手続きグラフはメモリベースのベースラインに対して一貫した利得をもたらし、自己進化は手動のエンジニアリングなしで性能をさらに向上させる。

English

Large language models are increasingly deployed as agents that plan over long horizons and act through external tools. Most agents select actions through unconstrained generation over an accumulating history, leaving implicit the procedural knowledge of what to do, in what order, and under which conditions. As trajectories lengthen, agents can lose track of their objectives, invoke tools out of order, and repeat unproductive actions. We introduce the Procedural Graph: just as a knowledge graph organizes factual knowledge into (entity, relation, entity) triplets for what-is questions, a Procedural Graph organizes procedural knowledge into (procedure, relation, procedure) triplets for what-to-do questions. At each decision step, the framework localizes the agent's active node, and a guidance model translates the surrounding subgraph into step-level situational guidance that biases the solver's next action without dictating it. The graph is self-evolving: an LLM refiner contrasts failed trajectories with successful ones and edits the graph's topology and attributes, committing edits that preserve or improve held-out validation performance while retaining rejected ones to discourage repetition. Starting from a minimal skeleton, the loop builds graphs that match or surpass hand-designed ones. It can also repair a flawed expert prior. Across multiple datasets, task types, and LLMs, the Procedural Graph delivers consistent gains over memory-based baselines, and self-evolution further improves performance without manual engineering.