Hogwild! Inferenz: Parallele LLM-Generierung durch gleichzeitige Aufmerksamkeit

Hogwild! Inference: Parallel LLM Generation via Concurrent Attention

April 8, 2025

Autoren: Gleb Rodionov, Roman Garipov, Alina Shutova, George Yakushev, Vage Egiazarian, Anton Sinitsin, Denis Kuznedelev, Dan Alistarh

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben die Fähigkeit demonstriert, zunehmend komplexe Aufgaben durch fortgeschrittenes Denken, die Erstellung von langen Inhalten und den Einsatz von Werkzeugen zu bewältigen. Die Lösung dieser Aufgaben erfordert oft langwierige Berechnungen während der Inferenz. Bei der menschlichen Problemlösung ist eine gängige Strategie zur Beschleunigung der Arbeit die Zusammenarbeit: indem das Problem in Teilaufgaben unterteilt wird, verschiedene Strategien parallel erkundet werden usw. Jüngste Forschungen haben gezeigt, dass LLMs ebenfalls parallel arbeiten können, indem sie explizite Kooperationsrahmen implementieren, wie z. B. Abstimmungsmechanismen oder die explizite Erstellung unabhängiger Teilaufgaben, die parallel ausgeführt werden können. Allerdings ist jeder dieser Rahmen möglicherweise nicht für alle Arten von Aufgaben geeignet, was ihre Anwendbarkeit einschränken kann. In dieser Arbeit schlagen wir einen anderen Designansatz vor: Wir lassen LLM-"Arbeiter" parallel laufen und ermöglichen ihnen, sich über einen gleichzeitig aktualisierten Aufmerksamkeitscache zu synchronisieren und diese Arbeiter dazu anzuregen, zu entscheiden, wie sie am besten zusammenarbeiten können. Unser Ansatz ermöglicht es den Instanzen, ihre eigene Zusammenarbeitsstrategie für das vorliegende Problem zu entwickeln, während sie gleichzeitig den teilweisen Fortschritt der anderen im parallelen Cache "sehen". Wir implementieren diesen Ansatz über Hogwild! Inference: eine parallele LLM-Inferenz-Engine, bei der mehrere Instanzen desselben LLM parallel mit demselben Aufmerksamkeitscache laufen und "sofortigen" Zugriff auf die generierten Tokens der anderen haben. Hogwild! Inference nutzt Rotary Position Embeddings (RoPE), um Neuberechnungen zu vermeiden und gleichzeitig die parallele Hardwareauslastung zu verbessern. Wir stellen fest, dass moderne, vernunftsfähige LLMs die Inferenz mit gemeinsam genutztem Key-Value-Cache ohne zusätzliches Fine-Tuning durchführen können.

English

Large Language Models (LLMs) have demonstrated the ability to tackle increasingly complex tasks through advanced reasoning, long-form content generation, and tool use. Solving these tasks often involves long inference-time computations. In human problem solving, a common strategy to expedite work is collaboration: by dividing the problem into sub-tasks, exploring different strategies concurrently, etc. Recent research has shown that LLMs can also operate in parallel by implementing explicit cooperation frameworks, such as voting mechanisms or the explicit creation of independent sub-tasks that can be executed in parallel. However, each of these frameworks may not be suitable for all types of tasks, which can hinder their applicability. In this work, we propose a different design approach: we run LLM "workers" in parallel , allowing them to synchronize via a concurrently-updated attention cache and prompt these workers to decide how best to collaborate. Our approach allows the instances to come up with their own collaboration strategy for the problem at hand, all the while "seeing" each other's partial progress in the concurrent cache. We implement this approach via Hogwild! Inference: a parallel LLM inference engine where multiple instances of the same LLM run in parallel with the same attention cache, with "instant" access to each other's generated tokens. Hogwild! inference takes advantage of Rotary Position Embeddings (RoPE) to avoid recomputation while improving parallel hardware utilization. We find that modern reasoning-capable LLMs can perform inference with shared Key-Value cache out of the box, without additional fine-tuning.