Inteligência por Watt: Medindo a Eficiência Energética da Inteligência em IA Local
Intelligence per Watt: Measuring Intelligence Efficiency of Local AI
November 11, 2025
Autores: Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré
cs.AI
Resumo
As consultas a modelos de linguagem de grande escala (LLMs) são predominantemente processadas por modelos de ponta em infraestruturas de nuvem centralizadas. A demanda em rápido crescimento tensiona este paradigma, e os provedores de nuvem lutam para dimensionar a infraestrutura no mesmo ritmo. Dois avanços permitem-nos repensar este paradigma: modelos de linguagem pequenos (<= 20 mil milhões de parâmetros ativos) alcançam agora um desempenho competitivo com os modelos de ponta em muitas tarefas, e aceleradores locais (por exemplo, Apple M4 Max) executam estes modelos com latências interativas. Isto levanta a questão: pode a inferência local redistribuir viabilmente a demanda da infraestrutura centralizada? Responder a isto requer medir se os LLMs locais podem responder com precisão a consultas do mundo real e se podem fazê-lo com eficiência suficiente para serem práticos em dispositivos com restrições de energia (ou seja, laptops). Propomos *inteligência por watt* (IPW), precisão da tarefa dividida por unidade de potência, como uma métrica para avaliar a capacidade e eficiência da inferência local em pares modelo-acelerador. Realizamos um estudo empírico em larga escala com mais de 20 LLMs locais state-of-the-art, 8 aceleradores e um subconjunto representativo do tráfego de LLM: 1 milhão de consultas reais de chat de turno único e de raciocínio. Para cada consulta, medimos precisão, energia, latência e potência. A nossa análise revela 3 conclusões. Primeiro, os LLMs locais podem responder com precisão a 88,7% das consultas de chat de turno único e de raciocínio, com a precisão a variar conforme o domínio. Segundo, de 2023 a 2025, o IPW melhorou 5,3 vezes e a cobertura de consultas locais aumentou de 23,2% para 71,3%. Terceiro, os aceleradores locais alcançam pelo menos 1,4 vezes menos IPW do que os aceleradores de nuvem a executar modelos idênticos, revelando uma margem significativa para otimização. Estas conclusões demonstram que a inferência local pode redistribuir significativamente a demanda da infraestrutura centralizada, com o IPW a servir como a métrica crítica para acompanhar esta transição. Disponibilizamos a nossa ferramenta de perfilização de IPW para uma avaliação sistemática de inteligência por watt.
English
Large language model (LLM) queries are predominantly processed by frontier models in centralized cloud infrastructure. Rapidly growing demand strains this paradigm, and cloud providers struggle to scale infrastructure at pace. Two advances enable us to rethink this paradigm: small LMs (<=20B active parameters) now achieve competitive performance to frontier models on many tasks, and local accelerators (e.g., Apple M4 Max) run these models at interactive latencies. This raises the question: can local inference viably redistribute demand from centralized infrastructure? Answering this requires measuring whether local LMs can accurately answer real-world queries and whether they can do so efficiently enough to be practical on power-constrained devices (i.e., laptops). We propose intelligence per watt (IPW), task accuracy divided by unit of power, as a metric for assessing capability and efficiency of local inference across model-accelerator pairs. We conduct a large-scale empirical study across 20+ state-of-the-art local LMs, 8 accelerators, and a representative subset of LLM traffic: 1M real-world single-turn chat and reasoning queries. For each query, we measure accuracy, energy, latency, and power. Our analysis reveals 3 findings. First, local LMs can accurately answer 88.7% of single-turn chat and reasoning queries with accuracy varying by domain. Second, from 2023-2025, IPW improved 5.3x and local query coverage rose from 23.2% to 71.3%. Third, local accelerators achieve at least 1.4x lower IPW than cloud accelerators running identical models, revealing significant headroom for optimization. These findings demonstrate that local inference can meaningfully redistribute demand from centralized infrastructure, with IPW serving as the critical metric for tracking this transition. We release our IPW profiling harness for systematic intelligence-per-watt benchmarking.