Intelligenz pro Watt: Messung der Energieeffizienz von lokaler KI

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

November 11, 2025

papers.authors: Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré

cs.AI

papers.abstract

Abfragen für große Sprachmodelle (LLM) werden überwiegend von hochleistungsfähigen Modellen in zentralisierter Cloud-Infrastruktur verarbeitet. Die schnell wachsende Nachfrage belastet dieses Paradigma, und Cloud-Anbieter haben Schwierigkeiten, die Infrastruktur im gleichen Tempo zu skalieren. Zwei Fortschritte ermöglichen es uns, dieses Paradigma zu überdenken: Kleine Sprachmodelle (≤20B aktive Parameter) erreichen bei vielen Aufgaben inzwischen eine mit Hochleistungsmodellen vergleichbare Leistung, und lokale Beschleuniger (z.B. Apple M4 Max) führen diese Modelle mit interaktiven Latenzen aus. Dies wirft die Frage auf: Kann die lokale Inferenz die Nachfrage von zentralisierter Infrastruktur tragfähig umverteilen? Um dies zu beantworten, muss gemessen werden, ob lokale Sprachmodelle reale Abfragen korrekt beantworten können und ob sie dies effizient genug tun, um auf leistungsbeschränkten Geräten (d.h. Laptops) praktikabel zu sein. Wir schlagen "Intelligenz pro Watt" (IPW) – die Aufgabengenauigkeit geteilt durch eine Einheit Leistungsaufnahme – als Metrik zur Bewertung der Fähigkeiten und Effizienz der lokalen Inferenz über Modell-Beschleuniger-Paare hinweg vor. Wir führen eine großangelegte empirische Studie mit über 20 modernen lokalen Sprachmodellen, 8 Beschleunigern und einer repräsentativen Teilmenge des LLM-Datenverkehrs durch: 1 Million reale Single-Turn-Chat- und Reasoning-Abfragen. Für jede Abfrage messen wir Genauigkeit, Energieverbrauch, Latenz und Leistungsaufnahme. Unsere Analyse ergibt drei Erkenntnisse. Erstens: Lokale Sprachmodelle können 88,7 % der Single-Turn-Chat- und Reasoning-Abfragen korrekt beantworten, wobei die Genauigkeit je nach Domäne variiert. Zweitens: Von 2023 bis 2025 verbesserte sich die IPW um das 5,3-Fache und die lokale Abdeckung von Abfragen stieg von 23,2 % auf 71,3 %. Drittens: Lokale Beschleuniger erreichen mindestens eine 1,4-fach niedrigere IPW als Cloud-Beschleuniger, die identische Modelle ausführen, was ein erhebliches Optimierungspotenzial offenbart. Diese Ergebnisse zeigen, dass die lokale Inferenz die Nachfrage von zentralisierter Infrastruktur spürbar umverteilen kann, wobei IPW als die entscheidende Metrik zur Verfolgung dieses Übergangs dient. Wir veröffentlichen unser IPW-Profiling-Tool für systematische Benchmarks zur Intelligenz pro Watt.

English

Large language model (LLM) queries are predominantly processed by frontier models in centralized cloud infrastructure. Rapidly growing demand strains this paradigm, and cloud providers struggle to scale infrastructure at pace. Two advances enable us to rethink this paradigm: small LMs (<=20B active parameters) now achieve competitive performance to frontier models on many tasks, and local accelerators (e.g., Apple M4 Max) run these models at interactive latencies. This raises the question: can local inference viably redistribute demand from centralized infrastructure? Answering this requires measuring whether local LMs can accurately answer real-world queries and whether they can do so efficiently enough to be practical on power-constrained devices (i.e., laptops). We propose intelligence per watt (IPW), task accuracy divided by unit of power, as a metric for assessing capability and efficiency of local inference across model-accelerator pairs. We conduct a large-scale empirical study across 20+ state-of-the-art local LMs, 8 accelerators, and a representative subset of LLM traffic: 1M real-world single-turn chat and reasoning queries. For each query, we measure accuracy, energy, latency, and power. Our analysis reveals 3 findings. First, local LMs can accurately answer 88.7% of single-turn chat and reasoning queries with accuracy varying by domain. Second, from 2023-2025, IPW improved 5.3x and local query coverage rose from 23.2% to 71.3%. Third, local accelerators achieve at least 1.4x lower IPW than cloud accelerators running identical models, revealing significant headroom for optimization. These findings demonstrate that local inference can meaningfully redistribute demand from centralized infrastructure, with IPW serving as the critical metric for tracking this transition. We release our IPW profiling harness for systematic intelligence-per-watt benchmarking.