LRAgent: Эффективное совместное использование кэша ключей-значений для мультиагентных систем LLM с адаптацией LoRA

LRAgent: Efficient KV Cache Sharing for Multi-LoRA LLM Agents

February 1, 2026

Авторы: Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim

cs.AI

Аннотация

Специализация ролей в мульти-LLM-агентных системах часто реализуется через мульти-LoRA, где агенты используют общий предобученный базовый блок и различаются только легковесными адаптерами. Несмотря на общие веса базовой модели, каждый агент независимо формирует и хранит собственный KV-кэш для одних и тех же длинных, дополненных инструментами траекторий, что приводит к значительным накладным расходам по памяти и вычислениям. Существующие методы разделения KV-кэша в значительной степени игнорируют настройку мульти-LoRA. Мы наблюдаем, что различия в кэше между агентами в основном обусловлены выходами адаптеров, в то время как активации из общего предобученного базового блока остаются высоко схожими. Основываясь на этом наблюдении, мы предлагаем LRAgent — фреймворк разделения KV-кэша для мульти-LoRA агентов, который декомпозирует кэш на общий базовый компонент из предобученных весов и адаптерозависимый компонент из весов LoRA. LRAgent снижает нагрузку на память за счет разделения базового компонента и хранения адаптерного компонента в его исходной низкоранговой форме, а также дополнительно сокращает вычислительные затраты, используя архитектуры shared-A multi-LoRA, за счет разделения низкорангового кэша и избежания избыточных вычислений для контекстов, уже обработанных другими агентами. Для эффективного восстановления вклада адаптеров во время выполнения мы представляем Flash-LoRA-Attention — ядро, которое переупорядочивает вычисление внимания, чтобы избежать материализации низкорангового кэша в полную размерность. LRAgent достигает пропускной способности и задержки до первого токена, близких к полностью разделяемому кэшированию, сохраняя при этом точность, близкую к базовому уровню без разделения кэша, в бенчмарках агентских вопросно-ответных систем.

English

Role specialization in multi-LLM agent systems is often realized via multi-LoRA, where agents share a pretrained backbone and differ only through lightweight adapters. Despite sharing base model weights, each agent independently builds and stores its own KV cache for the same long, tool-augmented trajectories, incurring substantial memory and compute overhead. Existing KV cache sharing methods largely overlook this multi-LoRA setting. We observe that, across agents, cache differences are dominated by adapter outputs, while activations from the shared pretrained backbone remain highly similar. Based on this observation, we propose LRAgent, a KV cache sharing framework for multi-LoRA agents that decomposes the cache into a shared base component from the pretrained weights and an adapter-dependent component from LoRA weights. LRAgent reduces memory overhead by sharing the base component and storing the adapter component in its inherent low-rank form, and further reduces compute overhead, enabled by shared-A multi-LoRA architectures, by also sharing the low-rank cache and avoiding redundant computations for contexts already processed by other agents. To efficiently reconstruct adapter contributions at runtime, we introduce Flash-LoRA-Attention, a kernel that reorders attention computation to avoid materializing the low-rank cache to full dimension. LRAgent achieves throughput and time-to-first-token latency close to fully shared caching, while preserving accuracy near the non-shared caching baseline across agentic question-answering benchmarks.