Wenn klassische Cache-Strategien versagen: Lernunterstützte Ersetzung für semantische Abrufpuffer

Zusammenfassung

LLM-Agenten verlassen sich zunehmend auf Abrufpuffer, um vergangene Erfahrungen zu speichern und wiederzuverwenden, doch die Cache-Verwaltungsrichtlinien, die diese Puffer steuern, bleiben weitgehend ad-hoc. Wir formalisieren dies als ein Online-Problem des semantischen Cache-Ersatzes mit Wechselkosten, bei dem Elemente anhand der Einbettungsähnlichkeit abgeglichen werden und die Trefferqualität kontinuierlich statt binär ist. Durch Experimente mit zwei Datensätzen aus MemoryBench-Full (LoCoMo, DialSim) und 8 Ersatzrichtlinien zeigen wir ein überraschendes Ergebnis: Klassische Heuristiken (LRU, LFU) schneiden bei semantischen Arbeitslasten durchgängig schlechter ab als die naive FIFO-Baseline, bedingt durch das Fehlen zeitlicher Lokalität und Häufigkeitskonzentration. Wir schlagen SOLAR vor, ein lernunterstütztes Framework, das den Zeitpunkt der Modifikation aus der Bedauernsakkumulation ableitet (mit einer Modifikationsrate von etwa 17 %) und die Inhaltsauswahl durch Bayessches Online-Lernen über implizites Abruf-Feedback vornimmt. Wir beweisen, dass SOLAR ein konstantes Wettbewerbsverhältnis ≤ 3 erreicht, unabhängig von Cache-Größe und Horizont (im Vergleich zu Ω(K) für FIFO), sowie ein Verdrängungsbedauern von O(KT log T), was bis auf logarithmische Faktoren der unteren Schranke Ω(KT) entspricht. Experimente zeigen eine relative Verbesserung von 5–75 % gegenüber FIFO bei knappen Cache-Größen, mit einem klar charakterisierten Phasenübergang an der Arbeitsmengengrenze. Synthetische Experimente mit 5000-Element-Pools offenbaren zudem eine umgekehrte U-Beziehung zwischen Poolgröße und Abrufqualität, was Kapazitätsbeschränkungen eher als ein Abruf-Rausch-Phänomen denn als Speicherbegrenzung rechtfertigt.

English

LLM agents increasingly rely on retrieval buffers to store and reuse past experience, yet the cache management policies governing these buffers remain largely ad-hoc. We formalize this as an online semantic cache replacement problem with switching costs, where items are matched by embedding similarity and hit quality is continuous rather than binary. Through experiments on two datasets from MemoryBench-Full (LoCoMo, DialSim) with 8 replacement policies, we reveal a surprising finding: classic heuristics (LRU, LFU) consistently underperform the naive FIFO baseline on semantic workloads, due to the absence of temporal locality and frequency concentration. We propose SOLAR, a learning-augmented framework that derives modification timing from regret accumulation (achieving sim17\% modification rate) and content selection from Bayesian online learning over implicit retrieval feedback. We prove SOLAR achieves a constant competitive ratio leq 3, independent of cache size and horizon (vs.\ Ω(K) for FIFO), and eviction regret O(KTlog T), matching the Ω(KT) lower bound up to logarithmic factors. Experiments demonstrate 5--75\% relative improvement over FIFO at tight cache sizes, with a clearly characterized phase transition at the working set boundary. Synthetic experiments with 5000-item pools further reveal an inverted-U relationship between pool size and retrieval quality, justifying capacity constraints as a retrieval noise phenomenon rather than a storage limitation.