Интеллект на ватт: измерение энергоэффективности локального искусственного интеллекта

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

November 11, 2025

Авторы: Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré

cs.AI

Аннотация

Запросы к большим языковым моделям (LLM) в основном обрабатываются передовыми моделями в централизованной облачной инфраструктуре. Стремительно растущий спрос создает нагрузку на эту парадигму, и поставщики облачных услуг не успевают масштабировать инфраструктуру. Два достижения позволяют переосмыслить этот подход: небольшие языковые модели (<=20B активных параметров) теперь достигают конкурентоспособной с передовыми моделями производительности во многих задачах, а локальные акселераторы (например, Apple M4 Max) выполняют эти модели с интерактивной задержкой. Это поднимает вопрос: может ли локальный вывод жизнеспособно перераспределить нагрузку с централизованной инфраструктуры? Для ответа необходимо измерить, способны ли локальные LM точно отвечать на реальные запросы и делать это достаточно эффективно для практического использования на устройствах с ограниченным энергопотреблением (например, ноутбуках). Мы предлагаем метрику «интеллект на ватт» (IPW) — точность выполнения задачи, деленная на единицу потребляемой мощности, — для оценки возможностей и эффективности локального вывода для различных пар «модель-акселератор». Мы проводим масштабное эмпирическое исследование с участием более 20 современных локальных LM, 8 акселераторов и репрезентативной выборки трафика LLM: 1 млн реальных однократных чат-запросов и запросов на рассуждение. Для каждого запроса мы измеряем точность, энергопотребление, задержку и мощность. Наш анализ выявил три ключевых результата. Во-первых, локальные LM могут точно отвечать на 88,7% однократных чат-запросов и запросов на рассуждение, при этом точность варьируется в зависимости от предметной области. Во-вторых, с 2023 по 2025 год показатель IPW улучшился в 5,3 раза, а доля запросов, обрабатываемых локально, выросла с 23,2% до 71,3%. В-третьих, локальные акселераторы демонстрируют как минимум в 1,4 раза лучший показатель IPW, чем облачные акселераторы, выполняющие идентичные модели, что указывает на значительный потенциал для оптимизации. Эти результаты демонстрируют, что локальный вывод может существенно перераспределить нагрузку с централизованной инфраструктуры, а метрика IPW является ключевой для отслеживания этого перехода. Мы публикуем наш инструмент для профилирования IPW для системного бенчмаркинга интеллекта на ватт.

English

Large language model (LLM) queries are predominantly processed by frontier models in centralized cloud infrastructure. Rapidly growing demand strains this paradigm, and cloud providers struggle to scale infrastructure at pace. Two advances enable us to rethink this paradigm: small LMs (<=20B active parameters) now achieve competitive performance to frontier models on many tasks, and local accelerators (e.g., Apple M4 Max) run these models at interactive latencies. This raises the question: can local inference viably redistribute demand from centralized infrastructure? Answering this requires measuring whether local LMs can accurately answer real-world queries and whether they can do so efficiently enough to be practical on power-constrained devices (i.e., laptops). We propose intelligence per watt (IPW), task accuracy divided by unit of power, as a metric for assessing capability and efficiency of local inference across model-accelerator pairs. We conduct a large-scale empirical study across 20+ state-of-the-art local LMs, 8 accelerators, and a representative subset of LLM traffic: 1M real-world single-turn chat and reasoning queries. For each query, we measure accuracy, energy, latency, and power. Our analysis reveals 3 findings. First, local LMs can accurately answer 88.7% of single-turn chat and reasoning queries with accuracy varying by domain. Second, from 2023-2025, IPW improved 5.3x and local query coverage rose from 23.2% to 71.3%. Third, local accelerators achieve at least 1.4x lower IPW than cloud accelerators running identical models, revealing significant headroom for optimization. These findings demonstrate that local inference can meaningfully redistribute demand from centralized infrastructure, with IPW serving as the critical metric for tracking this transition. We release our IPW profiling harness for systematic intelligence-per-watt benchmarking.