LUT-LLM：FPGAにおけるメモリベース計算による効率的な大規模言語モデル推論

要旨

大規模言語モデル（LLM）の急速な進展は数多くの応用を推進しているが、効率的なシングルバッチ推論はオンデバイス知能において依然として重要である。FPGAは細粒度なデータ制御と高いエネルギー効率を提供するが、最近のGPU最適化により、特に演算ベースの計算においてその優位性は縮小している。この課題を克服するため、我々はFPGAの豊富なオンチップメモリを活用し、テーブル参照を通じてLLM推論を演算ベースからメモリベースの計算へ転換する。本論文では、ベクトル量子化メモリ操作により1B+ LLM推論を実現する初のFPGAアクセラレータであるLUT-LLMを提案する。活性化-重み協調量子化が最も効果的な方式であると分析し、(1) 帯域幅を考慮した並列重心探索、(2) 効率的な2次元テーブル参照、(3) データキャッシングを最小化する時空間ハイブリッド設計によってこれを支援する。カスタマイズ版Qwen 3 1.7Bモデルに対してAMD V80 FPGA上で実装したLUT-LLMは、AMD MI210と比較して1.66倍の低レイテンシを達成し、NVIDIA A100に対して1.72倍のエネルギー効率向上を実現。32Bモデルへのスケーリング時にはA100対比2.16倍の効率向上を示す。

English

The rapid progress of large language models (LLMs) has advanced numerous applications, yet efficient single-batch inference remains vital for on-device intelligence. While FPGAs offer fine-grained data control and high energy efficiency, recent GPU optimizations have narrowed their advantage, especially under arithmetic-based computation. To overcome this, we leverage FPGAs' abundant on-chip memory to shift LLM inference from arithmetic- to memory-based computation through table lookups. We present LUT-LLM, the first FPGA accelerator enabling 1B+ LLM inference via vector-quantized memory operations. Our analysis identifies activation-weight co-quantization as the most effective scheme, supported by (1) bandwidth-aware parallel centroid search, (2) efficient 2D table lookups, and (3) a spatial-temporal hybrid design minimizing data caching. Implemented on an AMD V80 FPGA for a customized Qwen 3 1.7B model, LUT-LLM achieves 1.66x lower latency than AMD MI210 and 1.72x higher energy efficiency than NVIDIA A100, scaling to 32B models with 2.16x efficiency gain over A100.

LUT-LLM：FPGAにおけるメモリベース計算による効率的な大規模言語モデル推論

LUT-LLM: Efficient Large Language Model Inference with Memory-based Computations on FPGAs

要旨

Support