LLM im Handumdrehen: Effiziente Inferenz großer Sprachmodelle mit begrenztem Speicher

Zusammenfassung

Große Sprachmodelle (LLMs) sind zentral für die moderne natürliche Sprachverarbeitung und liefern außergewöhnliche Leistungen in verschiedenen Aufgaben. Ihre intensiven Rechen- und Speicheranforderungen stellen jedoch Herausforderungen dar, insbesondere für Geräte mit begrenzter DRAM-Kapazität. Dieses Papier befasst sich mit der Herausforderung, LLMs effizient auszuführen, die die verfügbare DRAM-Kapazität überschreiten, indem die Modellparameter im Flash-Speicher gespeichert, aber bei Bedarf in den DRAM geladen werden. Unsere Methode umfasst die Erstellung eines Inferenzkostenmodells, das mit dem Verhalten des Flash-Speichers harmonisiert und uns leitet, in zwei kritischen Bereichen zu optimieren: die Reduzierung des Datenvolumens, das vom Flash-Speicher übertragen wird, und das Lesen von Daten in größeren, zusammenhängenden Blöcken. Innerhalb dieses Flash-Speicher-informierten Rahmens führen wir zwei Haupttechniken ein. Erstens reduziert „Windowing“ strategisch den Datentransfer durch die Wiederverwendung zuvor aktivierter Neuronen, und zweitens erhöht „Row-Column Bundling“, das auf die sequenziellen Datenzugriffsstärken des Flash-Speichers zugeschnitten ist, die Größe der aus dem Flash-Speicher gelesenen Datenblöcke. Diese Methoden ermöglichen es gemeinsam, Modelle mit bis zu doppelter Größe des verfügbaren DRAMs auszuführen, mit einer 4-5-fachen und 20-25-fachen Steigerung der Inferenzgeschwindigkeit im Vergleich zu naiven Ladeansätzen auf CPU bzw. GPU. Unsere Integration von Sparsity-Bewusstsein, kontextadaptivem Laden und einem hardwareorientierten Design ebnet den Weg für eine effektive Inferenz von LLMs auf Geräten mit begrenztem Speicher.

English

Large language models (LLMs) are central to modern natural language processing, delivering exceptional performance in various tasks. However, their intensive computational and memory requirements present challenges, especially for devices with limited DRAM capacity. This paper tackles the challenge of efficiently running LLMs that exceed the available DRAM capacity by storing the model parameters on flash memory but bringing them on demand to DRAM. Our method involves constructing an inference cost model that harmonizes with the flash memory behavior, guiding us to optimize in two critical areas: reducing the volume of data transferred from flash and reading data in larger, more contiguous chunks. Within this flash memory-informed framework, we introduce two principal techniques. First, "windowing'" strategically reduces data transfer by reusing previously activated neurons, and second, "row-column bundling", tailored to the sequential data access strengths of flash memory, increases the size of data chunks read from flash memory. These methods collectively enable running models up to twice the size of the available DRAM, with a 4-5x and 20-25x increase in inference speed compared to naive loading approaches in CPU and GPU, respectively. Our integration of sparsity awareness, context-adaptive loading, and a hardware-oriented design paves the way for effective inference of LLMs on devices with limited memory.

LLM im Handumdrehen: Effiziente Inferenz großer Sprachmodelle mit begrenztem Speicher

LLM in a flash: Efficient Large Language Model Inference with Limited Memory

Zusammenfassung

Support