LLM in een oogwenk: Efficiënte inferentie van grote taalmodellen met beperkt geheugen

Samenvatting

Grote taalmmodellen (LLMs) staan centraal in moderne natuurlijke taalverwerking en leveren uitzonderlijke prestaties bij diverse taken. Hun intensieve reken- en geheugeneisen vormen echter uitdagingen, vooral voor apparaten met beperkte DRAM-capaciteit. Dit artikel gaat de uitdaging aan om LLMs efficiënt te draaien die de beschikbare DRAM-capaciteit overschrijden, door de modelparameters op flashgeheugen op te slaan maar ze op aanvraag naar DRAM te brengen. Onze methode omvat het opstellen van een inferentiekostenmodel dat afgestemd is op het gedrag van flashgeheugen, wat ons leidt naar optimalisatie in twee cruciale gebieden: het verminderen van de hoeveelheid data die van flash wordt overgedragen en het lezen van data in grotere, meer aaneengesloten brokken. Binnen dit op flashgeheugen gebaseerde raamwerk introduceren we twee hoofdtechnieken. Ten eerste vermindert "windowing" strategisch de dataoverdracht door eerder geactiveerde neuronen te hergebruiken, en ten tweede vergroot "row-column bundling", afgestemd op de sequentiële data-toegangssterktes van flashgeheugen, de grootte van de databrokken die van flashgeheugen worden gelezen. Deze methoden maken gezamenlijk het draaien van modellen mogelijk die tot twee keer zo groot zijn als de beschikbare DRAM, met een 4-5x en 20-25x toename in inferentiesnelheid vergeleken met naïeve laadbenaderingen op CPU en GPU, respectievelijk. Onze integratie van spaarzaamheidsbewustzijn, contextadaptief laden en een hardwaregericht ontwerp baant de weg voor effectieve inferentie van LLMs op apparaten met beperkt geheugen.

English

Large language models (LLMs) are central to modern natural language processing, delivering exceptional performance in various tasks. However, their intensive computational and memory requirements present challenges, especially for devices with limited DRAM capacity. This paper tackles the challenge of efficiently running LLMs that exceed the available DRAM capacity by storing the model parameters on flash memory but bringing them on demand to DRAM. Our method involves constructing an inference cost model that harmonizes with the flash memory behavior, guiding us to optimize in two critical areas: reducing the volume of data transferred from flash and reading data in larger, more contiguous chunks. Within this flash memory-informed framework, we introduce two principal techniques. First, "windowing'" strategically reduces data transfer by reusing previously activated neurons, and second, "row-column bundling", tailored to the sequential data access strengths of flash memory, increases the size of data chunks read from flash memory. These methods collectively enable running models up to twice the size of the available DRAM, with a 4-5x and 20-25x increase in inference speed compared to naive loading approaches in CPU and GPU, respectively. Our integration of sparsity awareness, context-adaptive loading, and a hardware-oriented design paves the way for effective inference of LLMs on devices with limited memory.

LLM in een oogwenk: Efficiënte inferentie van grote taalmodellen met beperkt geheugen

LLM in a flash: Efficient Large Language Model Inference with Limited Memory

Samenvatting

Support