Intelligenza per Watt: Misurare l'Efficienza Energetica dell'Intelligenza nell'IA Locale

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

November 11, 2025

Autori: Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré

cs.AI

Abstract

Le query per i modelli linguistici di grandi dimensioni (LLM) vengono prevalentemente elaborate da modelli all'avanguardia all'interno di infrastrutture cloud centralizzate. La domanda in rapida crescita mette a dura prova questo paradigma, e i provider cloud faticano a scalare le infrastrutture allo stesso ritmo. Due progressi ci permettono di ripensare questo paradigma: i modelli linguistici piccoli (<=20 miliardi di parametri attivi) raggiungono ora prestazioni competitive rispetto ai modelli all'avanguardia in molte attività, e gli acceleratori locali (ad esempio, Apple M4 Max) eseguono questi modelli con latenze interattive. Ciò solleva la questione: l'inferenza locale può redistribuire efficacemente la domanda dall'infrastruttura centralizzata? Per rispondere è necessario misurare se i modelli linguistici locali possono rispondere accuratamente a query del mondo reale e se possono farlo in modo sufficientemente efficiente da essere pratici su dispositivi con vincoli di potenza (ad esempio, laptop). Proponiamo l'intelligenza per watt (IPW, Intelligence Per Watt), ovvero l'accuratezza sul task divisa per unità di potenza, come metrica per valutare capacità ed efficienza dell'inferenza locale attraverso coppie modello-acceleratore. Conduciamo uno studio empirico su larga scala che coinvolge oltre 20 modelli linguistici locali all'avanguardia, 8 acceleratori e un sottoinsieme rappresentativo del traffico LLM: 1 milione di query reali di chat a turno singolo e di ragionamento. Per ogni query, misuriamo accuratezza, energia, latenza e potenza. La nostra analisi rivela 3 risultati. Primo, i modelli linguistici locali possono rispondere accuratamente all'88,7% delle query di chat a turno singolo e di ragionamento, con un'accuratezza che varia a seconda del dominio. Secondo, dal 2023 al 2025, l'IPW è migliorato di 5,3 volte e la copertura delle query locali è aumentata dal 23,2% al 71,3%. Terzo, gli acceleratori locali raggiungono un IPW almeno 1,4 volte inferiore rispetto agli acceleratori cloud che eseguono modelli identici, rivelando un margine di ottimizzazione significativo. Questi risultati dimostrano che l'inferenza locale può redistribuire in modo significativo la domanda dall'infrastruttura centralizzata, con l'IPW che funge da metrica critica per monitorare questa transizione. Rilasciamo il nostro sistema di profilazione IPW per un benchmarking sistematico dell'intelligenza per watt.

English

Large language model (LLM) queries are predominantly processed by frontier models in centralized cloud infrastructure. Rapidly growing demand strains this paradigm, and cloud providers struggle to scale infrastructure at pace. Two advances enable us to rethink this paradigm: small LMs (<=20B active parameters) now achieve competitive performance to frontier models on many tasks, and local accelerators (e.g., Apple M4 Max) run these models at interactive latencies. This raises the question: can local inference viably redistribute demand from centralized infrastructure? Answering this requires measuring whether local LMs can accurately answer real-world queries and whether they can do so efficiently enough to be practical on power-constrained devices (i.e., laptops). We propose intelligence per watt (IPW), task accuracy divided by unit of power, as a metric for assessing capability and efficiency of local inference across model-accelerator pairs. We conduct a large-scale empirical study across 20+ state-of-the-art local LMs, 8 accelerators, and a representative subset of LLM traffic: 1M real-world single-turn chat and reasoning queries. For each query, we measure accuracy, energy, latency, and power. Our analysis reveals 3 findings. First, local LMs can accurately answer 88.7% of single-turn chat and reasoning queries with accuracy varying by domain. Second, from 2023-2025, IPW improved 5.3x and local query coverage rose from 23.2% to 71.3%. Third, local accelerators achieve at least 1.4x lower IPW than cloud accelerators running identical models, revealing significant headroom for optimization. These findings demonstrate that local inference can meaningfully redistribute demand from centralized infrastructure, with IPW serving as the critical metric for tracking this transition. We release our IPW profiling harness for systematic intelligence-per-watt benchmarking.