エージェント型計画実行パイプラインにおける時間的セマンティックキャッシングとワークフロー最適化の評価

要旨

産業資産オペレーションワークフローはレイテンシに敏感である。なぜなら、単一のユーザークエリがセンサーデータ、作業指示書、故障モード、予測ツール、ドメイン固有エージェントにわたる調整を必要とする可能性があるからである。我々はこの問題をAssetOpsBench（AOB）で評価する。これは産業エージェントベンチマークであり、その計画実行パイプラインはツール発見、LLM計画、MCPツール実行、最終要約による反復的なオーバーヘッドを露呈する。既存のLLMキャッシング技術、例えばKVキャッシュ再利用や埋め込みベースのセマンティックキャッシングは、チャットボットサービング向けに設計されており、出力の有効性が時間、資産、センサーパラメータに依存する場合に機能しなくなる。我々はAOBの計画実行パイプラインに対して、2つの補完的な最適化層を提案する。時間的セマンティックキャッシュと、ディスクバックアップ型ツール発見キャッシュと依存関係を考慮した並列ステップ実行を組み合わせた一連のMCPワークフロー最適化である。MCPワークフロー最適化は1.67倍の高速化に対応し、中央値のエンドツーエンドレイテンシを約40.0%削減した。一方、時間的キャッシュベンチマークはキャッシュヒット時に中央値で30.6倍の高速化を達成した。高速化に加えて、我々の結果は、パラメータ豊富な産業クエリに対する純粋なセマンティックキャッシングの具体的な障害モードを明らかにし、キャッシングの選択がMCPバックアップエージェントベンチマークにおける評価の正確性とどのように相互作用するかについての批判的分析を提供する。

English

Industrial asset operations workflows are latency-sensitive because a single user query may require coordination over sensor data, work orders, failure modes, forecasting tools, and domain-specific agents. We evaluate this problem on AssetOpsBench (AOB), an industrial agent benchmark whose plan-execute pipeline exposes repeated overhead from tool discovery, LLM planning, MCP tool execution, and final summarization. Existing LLM caching techniques such as KV-cache reuse and embedding-based semantic caching were designed for chatbot serving and break down when output validity depends on time, asset, or sensor parameters. We propose two complementary optimization layers for AOB plan-execute pipelines: a temporal semantic cache and a set of MCP workflow optimizations combining disk-backed tool-discovery caching and dependency-aware parallel step execution. MCP workflow optimizations corresponded to a 1.67x speedup and reduced median end-to-end latency by about 40.0% while the temporal-cache benchmark achieved a median of 30.6x speedup on cache hits. Beyond the speedup, our results expose a concrete failure mode of pure semantic caching for parameter-rich industrial queries, providing a critical analysis of how caching choices interact with evaluation correctness in MCP-backed agent benchmarks.