Кэш-к-Кэш: Прямая семантическая коммуникация между крупными языковыми моделями

Cache-to-Cache: Direct Semantic Communication Between Large Language Models

October 3, 2025

Авторы: Tianyu Fu, Zihan Min, Hanling Zhang, Jichao Yan, Guohao Dai, Wanli Ouyang, Yu Wang

cs.AI

Аннотация

Мульти-LLM системы используют комплементарные преимущества различных крупных языковых моделей (LLM), достигая показателей производительности и эффективности, недостижимых для одной модели. В существующих подходах LLM взаимодействуют через текст, что требует преобразования внутренних представлений в последовательности выходных токенов. Этот процесс приводит как к потере богатой семантической информации, так и к задержкам, связанным с пошаговой генерацией токенов. Вдохновленные этими ограничениями, мы задаемся вопросом: Могут ли LLM взаимодействовать за пределами текста? Эксперименты показывают, что обогащение семантики KV-Cache может улучшить качество ответов без увеличения размера кэша, что подтверждает эффективность KV-Cache как средства межмодельного взаимодействия. Таким образом, мы предлагаем Cache-to-Cache (C2C) — новую парадигму для прямого семантического взаимодействия между LLM. C2C использует нейронную сеть для проекции и объединения KV-cache исходной модели с KV-cache целевой модели, что обеспечивает прямой семантический перенос. Обучаемый механизм выбора определяет целевые слои, которые получают преимущество от взаимодействия через кэш. По сравнению с текстовым взаимодействием, C2C использует глубокую специализированную семантику обеих моделей, избегая явной генерации промежуточного текста. Эксперименты показывают, что C2C достигает на 8,5–10,5% более высокой средней точности, чем отдельные модели. Кроме того, он превосходит парадигму текстового взаимодействия примерно на 3,0–5,0%, обеспечивая при этом среднее ускорение задержки в 2,0 раза. Наш код доступен по адресу https://github.com/thu-nics/C2C.

English

Multi-LLM systems harness the complementary strengths of diverse Large Language Models, achieving performance and efficiency gains unattainable by a single model. In existing designs, LLMs communicate through text, forcing internal representations to be transformed into output token sequences. This process both loses rich semantic information and incurs token-by-token generation latency. Motivated by these limitations, we ask: Can LLMs communicate beyond text? Oracle experiments show that enriching the KV-Cache semantics can improve response quality without increasing cache size, supporting KV-Cache as an effective medium for inter-model communication. Thus, we propose Cache-to-Cache (C2C), a new paradigm for direct semantic communication between LLMs. C2C uses a neural network to project and fuse the source model's KV-cache with that of the target model to enable direct semantic transfer. A learnable gating mechanism selects the target layers that benefit from cache communication. Compared with text communication, C2C utilizes the deep, specialized semantics from both models, while avoiding explicit intermediate text generation. Experiments show that C2C achieves 8.5-10.5% higher average accuracy than individual models. It further outperforms the text communication paradigm by approximately 3.0-5.0%, while delivering an average 2.0x speedup in latency. Our code is available at https://github.com/thu-nics/C2C.