Bewertung von zeitlich-semantischem Caching und Workflow-Optimierung in agentischen Plan-Execute-Pipelines

Zusammenfassung

Arbeitsabläufe für industrielle Asset-Operationen sind latenzempfindlich, da eine einzelne Benutzerabfrage die Koordination von Sensordaten, Arbeitsaufträgen, Fehlermodi, Prognosetools und domänenspezifischen Agenten erfordern kann. Wir evaluieren dieses Problem anhand des AssetOpsBench (AOB), einem industriellen Agenten-Benchmark, dessen Plan-Execute-Pipeline wiederkehrende Overheads durch Tool-Erkennung, LLM-Planung, MCP-Tool-Ausführung und abschließende Zusammenfassung aufweist. Bestehende LLM-Caching-Techniken wie KV-Cache-Wiederverwendung und embeddingsbasiertes semantisches Caching wurden für den Chatbot-Einsatz entwickelt und versagen, wenn die Gültigkeit der Ausgabe von Zeit, Asset oder Sensorparametern abhängt. Wir schlagen zwei komplementäre Optimierungsschichten für AOB-Plan-Execute-Pipelines vor: einen temporalen semantischen Cache und eine Reihe von MCP-Workflow-Optimierungen, die disk-basiertes Tool-Erkennungs-Caching und abhängigkeitsbewusste parallele Schrittausführung kombinieren. Die MCP-Workflow-Optimierungen führten zu einer 1,67-fachen Beschleunigung und reduzierten die mediane End-to-End-Latenz um etwa 40,0 %, während der temporale Cache-Benchmark bei Cache-Treffern eine mediane 30,6-fache Beschleunigung erzielte. Über die Beschleunigung hinaus zeigen unsere Ergebnisse ein konkretes Versagensmuster des reinen semantischen Cachings für parameterreiche industrielle Abfragen auf und liefern eine kritische Analyse, wie Caching-Entscheidungen mit der Evaluierungskorrektheit in MCP-gestützten Agenten-Benchmarks interagieren.

English

Industrial asset operations workflows are latency-sensitive because a single user query may require coordination over sensor data, work orders, failure modes, forecasting tools, and domain-specific agents. We evaluate this problem on AssetOpsBench (AOB), an industrial agent benchmark whose plan-execute pipeline exposes repeated overhead from tool discovery, LLM planning, MCP tool execution, and final summarization. Existing LLM caching techniques such as KV-cache reuse and embedding-based semantic caching were designed for chatbot serving and break down when output validity depends on time, asset, or sensor parameters. We propose two complementary optimization layers for AOB plan-execute pipelines: a temporal semantic cache and a set of MCP workflow optimizations combining disk-backed tool-discovery caching and dependency-aware parallel step execution. MCP workflow optimizations corresponded to a 1.67x speedup and reduced median end-to-end latency by about 40.0% while the temporal-cache benchmark achieved a median of 30.6x speedup on cache hits. Beyond the speedup, our results expose a concrete failure mode of pure semantic caching for parameter-rich industrial queries, providing a critical analysis of how caching choices interact with evaluation correctness in MCP-backed agent benchmarks.