LRAgent: Efficiënte KV Cache-deling voor Multi-LoRA LLM-agents

LRAgent: Efficient KV Cache Sharing for Multi-LoRA LLM Agents

February 1, 2026

Auteurs: Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim

cs.AI

Samenvatting

Rolspecialisatie in multi-LLM-agentensystemen wordt vaak gerealiseerd via multi-LoRA, waarbij agenten een vooraf getrainde backbone delen en alleen verschillen door middel van lichtgewicht adapters. Ondanks het delen van de basismodelgewichten, bouwt en slaat elke agent onafhankelijk zijn eigen KV-cache op voor dezelfde, uitgebreide, met tools verrijkte trajecten, wat aanzienlijke geheugen- en rekenoverhead met zich meebrengt. Bestaande methoden voor het delen van KV-caches houden grotendeels geen rekening met deze multi-LoRA-instelling. Wij observeren dat, tussen agenten onderling, cacheverschillen voornamelijk worden gedomineerd door adapteroutputs, terwijl activaties van de gedeelde vooraf getrainde backbone zeer gelijkwaardig blijven. Gebaseerd op deze observatie stellen wij LRAgent voor, een KV-cache-delingraamwerk voor multi-LoRA-agenten dat de cache ontbindt in een gedeelde basiscomponent van de vooraf getrainde gewichten en een adapter-afhankelijke component van de LoRA-gewichten. LRAgent vermindert de geheugenoverhead door de basiscomponent te delen en de adaptercomponent op te slaan in zijn inherente low-rank vorm, en vermindert verder de rekenoverhead, mogelijk gemaakt door shared-A multi-LoRA-architecturen, door ook de low-rank cache te delen en redundante berekeningen te vermijden voor contexten die reeds door andere agenten zijn verwerkt. Om adapterbijdragen tijdens runtime efficiënt te reconstrueren, introduceren wij Flash-LoRA-Attention, een kernel die de aandacht-berekening herordent om te voorkomen dat de low-rank cache naar volledige dimensie wordt gematerialiseerd. LRAgent bereikt een doorvoer en latentie-tot-eerste-teken die dicht bij volledig gedeelde caching liggen, terwijl de nauwkeurigheid nabij de niet-gedeelde caching-basislijn wordt behouden in benchmarks voor agent-gebaseerde vraag-antwoordtaken.

English

Role specialization in multi-LLM agent systems is often realized via multi-LoRA, where agents share a pretrained backbone and differ only through lightweight adapters. Despite sharing base model weights, each agent independently builds and stores its own KV cache for the same long, tool-augmented trajectories, incurring substantial memory and compute overhead. Existing KV cache sharing methods largely overlook this multi-LoRA setting. We observe that, across agents, cache differences are dominated by adapter outputs, while activations from the shared pretrained backbone remain highly similar. Based on this observation, we propose LRAgent, a KV cache sharing framework for multi-LoRA agents that decomposes the cache into a shared base component from the pretrained weights and an adapter-dependent component from LoRA weights. LRAgent reduces memory overhead by sharing the base component and storing the adapter component in its inherent low-rank form, and further reduces compute overhead, enabled by shared-A multi-LoRA architectures, by also sharing the low-rank cache and avoiding redundant computations for contexts already processed by other agents. To efficiently reconstruct adapter contributions at runtime, we introduce Flash-LoRA-Attention, a kernel that reorders attention computation to avoid materializing the low-rank cache to full dimension. LRAgent achieves throughput and time-to-first-token latency close to fully shared caching, while preserving accuracy near the non-shared caching baseline across agentic question-answering benchmarks.