LUT-LLM: Effiziente Inferenz großer Sprachmodelle durch speicherbasierte Berechnungen auf FPGAs

LUT-LLM: Efficient Large Language Model Inference with Memory-based Computations on FPGAs

November 9, 2025

papers.authors: Zifan He, Shengyu Ye, Rui Ma, Yang Wang, Jason Cong

cs.AI

papers.abstract

Der rasche Fortschritt bei großen Sprachmodellen (LLMs) hat zahlreiche Anwendungen vorangetrieben, dennoch bleibt eine effiziente Single-Batch-Inferenz für On-Device-Intelligenz entscheidend. Während FPGAs fein granulare Datenkontrolle und hohe Energieeffizienz bieten, haben aktuelle GPU-Optimierungen deren Vorteil verringert, insbesondere bei rechenarithmetik-basierten Berechnungen. Um dies zu überwinden, nutzen wir den reichlich vorhandenen On-Chip-Speicher von FPGAs, um die LLM-Inferenz durch Tabellennachschläge von einer rechenarithmetik- zu einer speicherbasierten Berechnung zu verlagern. Wir präsentieren LUT-LLM, den ersten FPGA-Beschleuniger, der die Inferenz von LLMs mit über 1 Milliarde Parametern durch vektorquantisierte Speicheroperationen ermöglicht. Unsere Analyse identifiziert die Co-Quantisierung von Aktivierungen und Gewichten als das effektivste Schema, unterstützt durch (1) bandbreitenbewusste parallele Zentroidensuche, (2) effiziente 2D-Tabellennachschläge und (3) ein räumlich-zeitliches Hybriddesign, das die Datencache-Auslastung minimiert. Implementiert auf einem AMD V80 FPGA für ein angepasstes Qwen 3 1.7B Modell, erreicht LUT-LLM eine 1,66-fach niedrigere Latenz als eine AMD MI210 und eine 1,72-fach höhere Energieeffizienz als eine NVIDIA A100, skaliert auf 32B-Modelle mit einem 2,16-fachen Effizienzgewinn gegenüber der A100.

English

The rapid progress of large language models (LLMs) has advanced numerous applications, yet efficient single-batch inference remains vital for on-device intelligence. While FPGAs offer fine-grained data control and high energy efficiency, recent GPU optimizations have narrowed their advantage, especially under arithmetic-based computation. To overcome this, we leverage FPGAs' abundant on-chip memory to shift LLM inference from arithmetic- to memory-based computation through table lookups. We present LUT-LLM, the first FPGA accelerator enabling 1B+ LLM inference via vector-quantized memory operations. Our analysis identifies activation-weight co-quantization as the most effective scheme, supported by (1) bandwidth-aware parallel centroid search, (2) efficient 2D table lookups, and (3) a spatial-temporal hybrid design minimizing data caching. Implemented on an AMD V80 FPGA for a customized Qwen 3 1.7B model, LUT-LLM achieves 1.66x lower latency than AMD MI210 and 1.72x higher energy efficiency than NVIDIA A100, scaling to 32B models with 2.16x efficiency gain over A100.