Hogwild! Inferentie: Parallelle LLM-generatie via gelijktijdige aandacht

Hogwild! Inference: Parallel LLM Generation via Concurrent Attention

April 8, 2025

Auteurs: Gleb Rodionov, Roman Garipov, Alina Shutova, George Yakushev, Vage Egiazarian, Anton Sinitsin, Denis Kuznedelev, Dan Alistarh

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben het vermogen aangetoond om steeds complexere taken aan te pakken door middel van geavanceerd redeneren, het genereren van lange inhoud en het gebruik van tools. Het oplossen van deze taken vereist vaak langdurige berekeningen tijdens de inferentie. Bij menselijk probleemoplossen is een veelgebruikte strategie om het werk te versnellen samenwerking: door het probleem op te delen in sub-taken, verschillende strategieën gelijktijdig te verkennen, enz. Recent onderzoek heeft aangetoond dat LLM's ook parallel kunnen werken door expliciete samenwerkingskaders te implementeren, zoals stemmechanismen of het expliciet creëren van onafhankelijke sub-taken die parallel kunnen worden uitgevoerd. Elk van deze kaders is echter mogelijk niet geschikt voor alle soorten taken, wat hun toepasbaarheid kan beperken. In dit werk stellen we een andere ontwerpaanpak voor: we laten LLM-"werkers" parallel draaien, waarbij ze kunnen synchroniseren via een gelijktijdig bijgewerkte aandachtscache en deze werkers aanmoedigen om te beslissen hoe ze het beste kunnen samenwerken. Onze aanpak stelt de instanties in staat om hun eigen samenwerkingsstrategie te bedenken voor het probleem waarmee ze worden geconfronteerd, terwijl ze elkaars gedeeltelijke voortgang "zien" in de gelijktijdige cache. We implementeren deze aanpak via Hogwild! Inference: een parallelle LLM-inferentie-engine waarbij meerdere instanties van hetzelfde LLM parallel draaien met dezelfde aandachtscache, met "directe" toegang tot elkaars gegenereerde tokens. Hogwild! Inference maakt gebruik van Rotary Position Embeddings (RoPE) om herberekening te voorkomen en tegelijkertijd het parallelle hardwaregebruik te verbeteren. We ontdekken dat moderne LLM's met redeneervermogen inferentie kunnen uitvoeren met een gedeelde Key-Value cache zonder aanvullende fine-tuning.

English

Large Language Models (LLMs) have demonstrated the ability to tackle increasingly complex tasks through advanced reasoning, long-form content generation, and tool use. Solving these tasks often involves long inference-time computations. In human problem solving, a common strategy to expedite work is collaboration: by dividing the problem into sub-tasks, exploring different strategies concurrently, etc. Recent research has shown that LLMs can also operate in parallel by implementing explicit cooperation frameworks, such as voting mechanisms or the explicit creation of independent sub-tasks that can be executed in parallel. However, each of these frameworks may not be suitable for all types of tasks, which can hinder their applicability. In this work, we propose a different design approach: we run LLM "workers" in parallel , allowing them to synchronize via a concurrently-updated attention cache and prompt these workers to decide how best to collaborate. Our approach allows the instances to come up with their own collaboration strategy for the problem at hand, all the while "seeing" each other's partial progress in the concurrent cache. We implement this approach via Hogwild! Inference: a parallel LLM inference engine where multiple instances of the same LLM run in parallel with the same attention cache, with "instant" access to each other's generated tokens. Hogwild! inference takes advantage of Rotary Position Embeddings (RoPE) to avoid recomputation while improving parallel hardware utilization. We find that modern reasoning-capable LLMs can perform inference with shared Key-Value cache out of the box, without additional fine-tuning.