LRAgent: Condivisione Efficiente della Cache KV per Agenti LLM Multi-LoRA

LRAgent: Efficient KV Cache Sharing for Multi-LoRA LLM Agents

February 1, 2026

Autori: Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim

cs.AI

Abstract

La specializzazione dei ruoli nei sistemi multi-agente basati su LLM è spesso realizzata tramite l'approccio multi-LoRA, dove gli agenti condividono un'architettura preaddestrata e differiscono solo attraverso adattatori leggeri. Nonostante la condivisione dei pesi del modello base, ogni agente costruisce e memorizza indipendentemente la propria cache KV per le stesse traiettorie lunghe e potenziate da strumenti, comportando un sovraccarico significativo di memoria e calcolo. I metodi esistenti per la condivisione della cache KV trascurano in larga misura questo scenario multi-LoRA. Osserviamo che, tra gli agenti, le differenze nella cache sono dominate dagli output degli adattatori, mentre le attivazioni provenienti dall'architettura preaddestrata condivisa rimangono altamente simili. Sulla base di questa osservazione, proponiamo LRAgent, un framework per la condivisione della cache KV per agenti multi-LoRA che scompone la cache in una componente base condivisa (dai pesi preaddestrati) e una componente dipendente dall'adattatore (dai pesi LoRA). LRAgent riduce il sovraccarico di memoria condividendo la componente base e memorizzando la componente dell'adattatore nella sua forma intrinsecamente low-rank, e riduce ulteriormente il sovraccarico computazionale, reso possibile dalle architetture multi-LoRA con componente-A condivisa, condividendo anche la cache low-rank ed evitando calcoli ridondanti per contesti già elaborati da altri agenti. Per ricostruire efficientemente i contributi degli adattatori a runtime, introduciamo Flash-LoRA-Attention, un kernel che riordina il calcolo dell'attenzione per evitare di materializzare la cache low-rank nella sua dimensione completa. LRAgent raggiunge una velocità di elaborazione (throughput) e una latenza per il primo token (time-to-first-token) prossime a quelle della cache completamente condivisa, preservando al contempo un'accuratezza vicina al baseline della cache non condivisa in vari benchmark di question-answering agentivo.

English

Role specialization in multi-LLM agent systems is often realized via multi-LoRA, where agents share a pretrained backbone and differ only through lightweight adapters. Despite sharing base model weights, each agent independently builds and stores its own KV cache for the same long, tool-augmented trajectories, incurring substantial memory and compute overhead. Existing KV cache sharing methods largely overlook this multi-LoRA setting. We observe that, across agents, cache differences are dominated by adapter outputs, while activations from the shared pretrained backbone remain highly similar. Based on this observation, we propose LRAgent, a KV cache sharing framework for multi-LoRA agents that decomposes the cache into a shared base component from the pretrained weights and an adapter-dependent component from LoRA weights. LRAgent reduces memory overhead by sharing the base component and storing the adapter component in its inherent low-rank form, and further reduces compute overhead, enabled by shared-A multi-LoRA architectures, by also sharing the low-rank cache and avoiding redundant computations for contexts already processed by other agents. To efficiently reconstruct adapter contributions at runtime, we introduce Flash-LoRA-Attention, a kernel that reorders attention computation to avoid materializing the low-rank cache to full dimension. LRAgent achieves throughput and time-to-first-token latency close to fully shared caching, while preserving accuracy near the non-shared caching baseline across agentic question-answering benchmarks.