CaSKG: 反事実的因果スキルグラフによるスケーラブルなエージェントスキル検索

要旨

再利用可能なスキルライブラリにより、大規模言語モデル（LLM）エージェントはタスク横断的に手続き的知識を再利用できるが、その一方でメモリへのアクセスは困難な検索問題となる。全ライブラリのプロンプティングは高いコンテキストコストを伴いつつも網羅性を維持し、ベクトル検索はコンパクトな近傍を返すがスキルを独立したテキストとして扱う。またグラフベースの検索は、関連性を担うエッジが信頼できる場合にのみワークフローコンテキストを回復できる。我々は、検索に先立って手続き的関係を較正する反事実因果スキルグラフフレームワークであるCaSKGを提案する。CaSKGはまず、意味的・語彙的・入出力・構造的エビデンスから高再現率の有向候補グラフを構築し、修復エビデンスと任意のLLM判定器によって候補スコアをさらに精緻化する。次に、スキルペアを削除・置換・並べ替える方向条件付きテキスト反事実プローブを適用し、ベイズ平滑化でエビデンスを集約し、タスク条件付き展開のための状態フィルタ付き重み付きグラフを出力する。このグラフはオフラインで構築され、下流のエージェントポリシーやタスクインターフェースを変更することなく使用される。ALFWorld ID-140およびScienceWorld U211において、6つのLLMバックボーンにわたって、CaSKGはモデルとベンチマークの全12の組み合わせで最高のタスクスコアを達成する。Graph-of-Skills（GoS）と比較して、6モデルのマクロ平均ScienceWorldスコアを72.62から80.50へ、ALFWorld成功率を80.01%から86.79%へ改善し、また両ベンチマークにおける平均環境ステップ数を削減する。定性的・アブレーション分析はさらに、較正されたエッジが検索において前提条件、状態変化アクション、検証ルーチン、最終完了ステップを保持するのに役立つことを示す。これらの結果により、エッジ信頼度の較正は、大規模な環境でもコンパクトかつ実行可能なスキル検索を実現する効果的な経路として位置づけられる。コードは https://github.com/ZhiyuanLi218/Caskg で公開されている。

English

Reusable skill libraries allow large language model (LLM) agents to reuse procedural knowledge across tasks, but they also turn memory access into a challenging retrieval problem. Full-library prompting preserves coverage at high context cost, vector retrieval returns compact neighborhoods but treats skills as independent text, and graph-based retrieval can recover workflow context only when the edges that carry relevance are reliable. We propose CaSKG, a counterfactual-causal skill graph framework that calibrates procedural relations before retrieval. CaSKG first builds a high-recall directed candidate graph from semantic, lexical, input/output, and structural evidence, with repair evidence and an optional LLM judge further refining candidate scores. It then applies direction-conditioned textual counterfactual probes that remove, substitute, and reorder skill pairs, aggregates the evidence with Bayesian smoothing, and publishes a state-filtered weighted graph for task-conditioned expansion. The graph is constructed offline and used without changing the downstream agent policy or task interface. Across six LLM backbones on ALFWorld ID-140 and ScienceWorld U211, CaSKG achieves the highest task score in all twelve combinations of model and benchmark. Relative to Graph-of-Skills (GoS), it improves the six-model macro-average ScienceWorld score from 72.62 to 80.50 and ALFWorld success from 80.01\% to 86.79\%, while reducing mean environment steps on both benchmarks. Qualitative and ablation analyses further show that calibrated edges help retrieval preserve prerequisites, state-changing actions, verification routines, and final completion steps. These results position edge-confidence calibration as an effective route to compact and executable skill retrieval at scaleCode is available at: https://github.com/ZhiyuanLi218/Caskg .