LRAgent: Effiziente KV-Cache-Freigabe für Multi-LoRA-LLM-Agenten

LRAgent: Efficient KV Cache Sharing for Multi-LoRA LLM Agents

February 1, 2026

papers.authors: Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim

cs.AI

papers.abstract

Rollenspezialisierung in Multi-LLM-Agenten-Systemen wird häufig über Multi-LoRA realisiert, wobei Agenten ein vortrainiertes Backbone teilen und sich nur durch leichtgewichtige Adapter unterscheiden. Obwohl sie Basis-Modellgewichte gemeinsam nutzen, baut und speichert jeder Agent seinen eigenen KV-Cache für dieselben langen, tool-augmentierten Trajektorien unabhängig, was erheblichen Speicher- und Rechenaufwand verursacht. Bestehende KV-Cache-Sharing-Methoden übersehen weitgehend diese Multi-LoRA-Situation. Wir beobachten, dass sich die Caches zwischen Agenten hauptsächlich in den Adapter-Ausgaben unterscheiden, während Aktivierungen aus dem gemeinsamen vortrainierten Backbone hochgradig ähnlich bleiben. Basierend auf dieser Beobachtung schlagen wir LRAgent vor, ein KV-Cache-Sharing-Framework für Multi-LoRA-Agenten, das den Cache in eine gemeinsame Basis-Komponente aus den vortrainierten Gewichten und eine adapterabhängige Komponente aus den LoRA-Gewichten zerlegt. LRAgent reduziert den Speicherbedarf, indem es die Basis-Komponente shared und die Adapter-Komponente in ihrer inhärenten Niedrig-Rang-Form speichert, und verringert den Rechenaufwand weiter – ermöglicht durch Shared-A-Multi-LoRA-Architekturen –, indem es auch den Niedrig-Rang-Cache shared und redundante Berechnungen für Kontexte vermeidet, die bereits von anderen Agenten verarbeitet wurden. Um Adapter-Beiträge zur Laufzeit effizient zu rekonstruieren, führen wir Flash-LoRA-Attention ein, einen Kernel, der die Attention-Berechnung umordnet, um die Materialisierung des Niedrig-Rang-Caches in voller Dimension zu vermeiden. LRAgent erreicht einen Durchsatz und eine Latenz bis zum ersten Token (Time-to-First-Token), die nahe an einem vollständig shared Caching liegen, und bewahrt dabei eine Genauigkeit nahe der Non-Shared-Caching-Baseline in agentenbasierten Frage-Antwort-Benchmarks.

English

Role specialization in multi-LLM agent systems is often realized via multi-LoRA, where agents share a pretrained backbone and differ only through lightweight adapters. Despite sharing base model weights, each agent independently builds and stores its own KV cache for the same long, tool-augmented trajectories, incurring substantial memory and compute overhead. Existing KV cache sharing methods largely overlook this multi-LoRA setting. We observe that, across agents, cache differences are dominated by adapter outputs, while activations from the shared pretrained backbone remain highly similar. Based on this observation, we propose LRAgent, a KV cache sharing framework for multi-LoRA agents that decomposes the cache into a shared base component from the pretrained weights and an adapter-dependent component from LoRA weights. LRAgent reduces memory overhead by sharing the base component and storing the adapter component in its inherent low-rank form, and further reduces compute overhead, enabled by shared-A multi-LoRA architectures, by also sharing the low-rank cache and avoiding redundant computations for contexts already processed by other agents. To efficiently reconstruct adapter contributions at runtime, we introduce Flash-LoRA-Attention, a kernel that reorders attention computation to avoid materializing the low-rank cache to full dimension. LRAgent achieves throughput and time-to-first-token latency close to fully shared caching, while preserving accuracy near the non-shared caching baseline across agentic question-answering benchmarks.