LRAgent : Partage efficace du cache KV pour les agents LLM multi-LoRA

LRAgent: Efficient KV Cache Sharing for Multi-LoRA LLM Agents

February 1, 2026

papers.authors: Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim

cs.AI

papers.abstract

La spécialisation des rôles dans les systèmes d'agents multi-LLM est souvent réalisée via une approche multi-LoRA, où les agents partagent une architecture pré-entraînée de base et ne diffèrent que par des adaptateurs légers. Bien qu'ils partagent les poids du modèle de base, chaque agent construit et stocke indépendamment son propre cache KV pour les mêmes longues trajectoires augmentées d'outils, ce qui engendre des surcharges mémoire et computationnelles substantielles. Les méthodes existantes de partage du cache KV négligent largement ce cadre multi-LoRA. Nous observons que, d'un agent à l'autre, les différences de cache sont dominées par les sorties des adaptateurs, tandis que les activations provenant du modèle de base partagé restent très similaires. Sur la base de cette observation, nous proposons LRAgent, un framework de partage du cache KV pour agents multi-LoRA qui décompose le cache en une composante de base partagée (issue des poids pré-entraînés) et une composante dépendante de l'adaptateur (issue des poids LoRA). LRAgent réduit la surcharge mémoire en partageant la composante de base et en stockant la composante adaptateur sous sa forme intrinsèquement low-rank (de faible rang). Il réduit également la surcharge computationnelle, rendue possible par les architectures multi-LoRA à attention partagée, en partageant également le cache low-rank et en évitant les calculs redondants pour les contextes déjà traités par d'autres agents. Pour reconstruire efficacement les contributions des adaptateurs à l'exécution, nous introduisons Flash-LoRA-Attention, un noyau qui réorganise le calcul d'attention pour éviter la matérialisation du cache low-rank en dimension complète. LRAgent atteint un débit et une latence du premier jeton proches de ceux d'un cache entièrement partagé, tout en préservant une précision proche de la ligne de base sans partage sur divers benchmarks de questions-réponses agentiques.

English

Role specialization in multi-LLM agent systems is often realized via multi-LoRA, where agents share a pretrained backbone and differ only through lightweight adapters. Despite sharing base model weights, each agent independently builds and stores its own KV cache for the same long, tool-augmented trajectories, incurring substantial memory and compute overhead. Existing KV cache sharing methods largely overlook this multi-LoRA setting. We observe that, across agents, cache differences are dominated by adapter outputs, while activations from the shared pretrained backbone remain highly similar. Based on this observation, we propose LRAgent, a KV cache sharing framework for multi-LoRA agents that decomposes the cache into a shared base component from the pretrained weights and an adapter-dependent component from LoRA weights. LRAgent reduces memory overhead by sharing the base component and storing the adapter component in its inherent low-rank form, and further reduces compute overhead, enabled by shared-A multi-LoRA architectures, by also sharing the low-rank cache and avoiding redundant computations for contexts already processed by other agents. To efficiently reconstruct adapter contributions at runtime, we introduce Flash-LoRA-Attention, a kernel that reorders attention computation to avoid materializing the low-rank cache to full dimension. LRAgent achieves throughput and time-to-first-token latency close to fully shared caching, while preserving accuracy near the non-shared caching baseline across agentic question-answering benchmarks.