Intelligentie per Watt: Het meten van de intelligentie-efficiëntie van lokale AI

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

November 11, 2025

Auteurs: Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré

cs.AI

Samenvatting

Verzoeken aan grote taalmodellen (LLM's) worden voornamelijk verwerkt door topmodellen in gecentraliseerde cloudinfrastructuur. De snelgroeiende vraag zet dit paradigma onder druk, en cloudaanbieders hebben moeite de infrastructuur in hetzelfde tempo op te schalen. Twee ontwikkelingen stellen ons in staat dit paradigma te herzien: kleine LM's (≤20B actieve parameters) bereiken nu competitieve prestaties ten opzichte van topmodellen voor veel taken, en lokale accelerators (zoals de Apple M4 Max) draaien deze modellen met interactieve latentietijden. Dit roept de vraag op: kan lokale inferentie de vraag zinvol herverdelen van gecentraliseerde infrastructuur? Om dit te beantwoorden, moet worden gemeten of lokale LM's real-world verzoeken accuraat kunnen beantwoorden en of ze dit efficiënt genoeg kunnen doen om praktisch haalbaar te zijn op apparaten met beperkt vermogen (zoals laptops). Wij stellen *intelligence per watt* (IPW), taaknauwkeurigheid gedeeld door een eenheid vermogen, voor als maatstaf om de capaciteit en efficiëntie van lokale inferentie voor model-acceleratorparen te beoordelen. Wij voeren een grootschalige empirische studie uit met meer dan 20 state-of-the-art lokale LM's, 8 accelerators en een representatieve subset van LLM-verkeer: 1 miljoen real-world, enkelvoudige chat- en redeneerverzoeken. Voor elk verzoek meten we nauwkeurigheid, energieverbruik, latentie en vermogen. Onze analyse levert 3 bevindingen op. Ten eerste kunnen lokale LM's 88,7% van de enkelvoudige chat- en redeneerverzoeken accuraat beantwoorden, waarbij de nauwkeurigheid per domein varieert. Ten tweede is de IPW van 2023 tot 2025 met een factor 5,3 verbeterd en is de dekking van lokale verzoeken gestegen van 23,2% naar 71,3%. Ten derde behalen lokale accelerators minstens 1,4x lagere IPW dan cloudaccelerators die identieke modellen draaien, wat een significante optimalisatieruimte blootlegt. Deze bevindingen tonen aan dat lokale inferitie de vraag betekenisvol kan herverdelen van gecentraliseerde infrastructuur, waarbij IPW fungeert als de kritieke maatstaf voor het volgen van deze transitie. Wij stellen onze IPW-profileringsomgeving beschikbaar voor systematische *intelligence-per-watt* benchmarking.

English

Large language model (LLM) queries are predominantly processed by frontier models in centralized cloud infrastructure. Rapidly growing demand strains this paradigm, and cloud providers struggle to scale infrastructure at pace. Two advances enable us to rethink this paradigm: small LMs (<=20B active parameters) now achieve competitive performance to frontier models on many tasks, and local accelerators (e.g., Apple M4 Max) run these models at interactive latencies. This raises the question: can local inference viably redistribute demand from centralized infrastructure? Answering this requires measuring whether local LMs can accurately answer real-world queries and whether they can do so efficiently enough to be practical on power-constrained devices (i.e., laptops). We propose intelligence per watt (IPW), task accuracy divided by unit of power, as a metric for assessing capability and efficiency of local inference across model-accelerator pairs. We conduct a large-scale empirical study across 20+ state-of-the-art local LMs, 8 accelerators, and a representative subset of LLM traffic: 1M real-world single-turn chat and reasoning queries. For each query, we measure accuracy, energy, latency, and power. Our analysis reveals 3 findings. First, local LMs can accurately answer 88.7% of single-turn chat and reasoning queries with accuracy varying by domain. Second, from 2023-2025, IPW improved 5.3x and local query coverage rose from 23.2% to 71.3%. Third, local accelerators achieve at least 1.4x lower IPW than cloud accelerators running identical models, revealing significant headroom for optimization. These findings demonstrate that local inference can meaningfully redistribute demand from centralized infrastructure, with IPW serving as the critical metric for tracking this transition. We release our IPW profiling harness for systematic intelligence-per-watt benchmarking.