Puzzel: Distillatiegebaseerde NAS voor Inferentie-geoptimaliseerde LLM's
Puzzle: Distillation-Based NAS for Inference-Optimized LLMs
November 28, 2024
Auteurs: Akhiad Bercovich, Tomer Ronen, Talor Abramovich, Nir Ailon, Nave Assaf, Mohammad Dabbah, Ido Galil, Amnon Geifman, Yonatan Geifman, Izhak Golan, Netanel Haber, Ehud Karpas, Itay Levy, Shahar Mor, Zach Moshe, Najeeb Nabwani, Omri Puny, Ran Rubin, Itamar Schen, Ido Shahaf, Oren Tropp, Omer Ullman Argov, Ran Zilberstein, Ran El-Yaniv
cs.AI
Samenvatting
Grote taalmodellen (LLM's) hebben opmerkelijke mogelijkheden aangetoond, maar hun adoptie wordt beperkt door hoge computationele kosten tijdens inferentie. Het verhogen van het aantal parameters verbetert de nauwkeurigheid, maar vergroot ook de kloof tussen de state-of-the-art mogelijkheden en de praktische inzetbaarheid. We presenteren Puzzle, een framework om LLM-inferentie op specifieke hardware te versnellen terwijl hun mogelijkheden behouden blijven. Door een innovatieve toepassing van neurale architectuurzoek (NAS) op een ongekende schaal, optimaliseert Puzzle systematisch modellen met tientallen miljarden parameters onder hardwarebeperkingen. Onze aanpak maakt gebruik van bloksgewijze lokale kennisdistillatie (BLD) voor parallelle architectuurexploratie en maakt gebruik van geheeltallige programmering voor nauwkeurige beperkingsoptimalisatie.
We demonstreren de real-world impact van ons framework via Llama-3.1-Nemotron-51B-Instruct (Nemotron-51B), een publiekelijk beschikbaar model afgeleid van Llama-3.1-70B-Instruct. Nemotron-51B behaalt een 2,17x versnelling van de inferentiesnelheid, passend op een enkele NVIDIA H100 GPU terwijl 98,4% van de oorspronkelijke modelmogelijkheden behouden blijven. Nemotron-51B staat momenteel bekend als het meest nauwkeurige taalmodel dat inferentie kan uitvoeren op een enkele GPU met grote batchgroottes. Opmerkelijk genoeg vereiste deze transformatie slechts 45B trainings-tokens, in vergelijking met meer dan 15T tokens die werden gebruikt voor het 70B-model waar het van is afgeleid. Dit vestigt een nieuw paradigma waar krachtige modellen geoptimaliseerd kunnen worden voor efficiënte implementatie met slechts verwaarloosbare compromissen van hun mogelijkheden, waarbij wordt aangetoond dat inferentieprestaties, niet alleen het aantal parameters, de modelselectie moeten leiden. Met de release van Nemotron-51B en de presentatie van het Puzzle-framework bieden we beoefenaars directe toegang tot state-of-the-art taalmodelleringsmogelijkheden tegen aanzienlijk verminderde computationele kosten.
English
Large language models (LLMs) have demonstrated remarkable capabilities, but
their adoption is limited by high computational costs during inference. While
increasing parameter counts enhances accuracy, it also widens the gap between
state-of-the-art capabilities and practical deployability. We present Puzzle, a
framework to accelerate LLM inference on specific hardware while preserving
their capabilities. Through an innovative application of neural architecture
search (NAS) at an unprecedented scale, Puzzle systematically optimizes models
with tens of billions of parameters under hardware constraints. Our approach
utilizes blockwise local knowledge distillation (BLD) for parallel architecture
exploration and employs mixed-integer programming for precise constraint
optimization.
We demonstrate the real-world impact of our framework through
Llama-3.1-Nemotron-51B-Instruct (Nemotron-51B), a publicly available model
derived from Llama-3.1-70B-Instruct. Nemotron-51B achieves a 2.17x inference
throughput speedup, fitting on a single NVIDIA H100 GPU while preserving 98.4%
of the original model's capabilities. Nemotron-51B currently stands as the most
accurate language model capable of inference on a single GPU with large batch
sizes. Remarkably, this transformation required just 45B training tokens,
compared to over 15T tokens used for the 70B model it was derived from. This
establishes a new paradigm where powerful models can be optimized for efficient
deployment with only negligible compromise of their capabilities, demonstrating
that inference performance, not parameter count alone, should guide model
selection. With the release of Nemotron-51B and the presentation of the Puzzle
framework, we provide practitioners immediate access to state-of-the-art
language modeling capabilities at significantly reduced computational costs.