Hogwild! Вывод: Параллельная генерация больших языковых моделей через конкурентное внимание

Hogwild! Inference: Parallel LLM Generation via Concurrent Attention

April 8, 2025

Авторы: Gleb Rodionov, Roman Garipov, Alina Shutova, George Yakushev, Vage Egiazarian, Anton Sinitsin, Denis Kuznedelev, Dan Alistarh

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали способность решать всё более сложные задачи благодаря продвинутому рассуждению, генерации длинных текстов и использованию инструментов. Решение таких задач часто требует длительных вычислений во время вывода. В человеческом решении проблем распространённой стратегией для ускорения работы является сотрудничество: разделение задачи на подзадачи, одновременное исследование различных стратегий и т.д. Недавние исследования показали, что LLM также могут работать параллельно, реализуя явные механизмы сотрудничества, такие как системы голосования или создание независимых подзадач, которые могут выполняться параллельно. Однако каждый из этих подходов может быть неприменим для всех типов задач, что ограничивает их универсальность. В данной работе мы предлагаем иной подход: мы запускаем LLM-"работников" параллельно, позволяя им синхронизироваться через одновременно обновляемый кэш внимания и предлагая этим работникам самостоятельно решать, как лучше сотрудничать. Наш подход позволяет экземплярам модели разрабатывать собственную стратегию сотрудничества для конкретной задачи, при этом "видя" частичные результаты друг друга в параллельном кэше. Мы реализуем этот подход через Hogwild! Inference: параллельный механизм вывода LLM, в котором несколько экземпляров одной и той же модели работают параллельно с общим кэшем внимания, имея "мгновенный" доступ к сгенерированным токенам друг друга. Hogwild! Inference использует Rotary Position Embeddings (RoPE), чтобы избежать повторных вычислений и улучшить использование параллельных аппаратных ресурсов. Мы обнаружили, что современные LLM, способные к рассуждениям, могут выполнять вывод с общим кэшем ключей и значений без дополнительной дообучения.

English

Large Language Models (LLMs) have demonstrated the ability to tackle increasingly complex tasks through advanced reasoning, long-form content generation, and tool use. Solving these tasks often involves long inference-time computations. In human problem solving, a common strategy to expedite work is collaboration: by dividing the problem into sub-tasks, exploring different strategies concurrently, etc. Recent research has shown that LLMs can also operate in parallel by implementing explicit cooperation frameworks, such as voting mechanisms or the explicit creation of independent sub-tasks that can be executed in parallel. However, each of these frameworks may not be suitable for all types of tasks, which can hinder their applicability. In this work, we propose a different design approach: we run LLM "workers" in parallel , allowing them to synchronize via a concurrently-updated attention cache and prompt these workers to decide how best to collaborate. Our approach allows the instances to come up with their own collaboration strategy for the problem at hand, all the while "seeing" each other's partial progress in the concurrent cache. We implement this approach via Hogwild! Inference: a parallel LLM inference engine where multiple instances of the same LLM run in parallel with the same attention cache, with "instant" access to each other's generated tokens. Hogwild! inference takes advantage of Rotary Position Embeddings (RoPE) to avoid recomputation while improving parallel hardware utilization. We find that modern reasoning-capable LLMs can perform inference with shared Key-Value cache out of the box, without additional fine-tuning.