ワットあたりの知能：ローカルAIの知能効率の測定

要旨

大規模言語モデル（LLM）のクエリ処理は、現在、集中型クラウドインフラ上のフロンティアモデルによって主に行われている。急速に増大する需要はこのパラダイムに負荷をかけており、クラウドプロバイダーはインフラの拡張に苦慮している。このパラダイムを再考可能にする2つの進展がある：多くのタスクにおいて小型LM（活性化パラメータ数<=20B）がフロンティアモデルに匹敵する性能を達成するようになったこと、およびローカルアクセラレータ（例：Apple M4 Max）がこれらのモデルを対話可能なレイテンシで実行できることである。これにより、ローカル推論が集中型インフラからの需要を効果的に再分配できるか、という疑問が生じる。これを検証するには、ローカルLMが実世界のクエリを正確に回答できるか、また電力制約のあるデバイス（ノートパソコンなど）で実用的な効率性を達成できるかを測定する必要がある。我々は、モデルとアクセラレータの組み合わせにおけるローカル推論の能力と効率を評価する指標として、タスク精度を電力単位で除した「ワットあたり知能（Intelligence Per Watt: IPW）」を提案する。20以上の最先端ローカルLM、8種類のアクセラレータ、およびLLMトラフィックの代表的なサブセット（実世界の単一ターンチャット及び推論クエリ100万件）を用いた大規模な実証研究を実施した。各クエリについて、精度、エネルギー消費量、レイテンシ、電力を測定した。分析により3つの知見が得られた。第一に、ローカルLMは単一ターンチャット及び推論クエリの88.7%を正確に回答可能であり、精度は分野によって異なる。第二に、2023年から2025年にかけて、IPWは5.3倍改善し、ローカルで処理可能なクエリの割合は23.2%から71.3%に上昇した。第三に、同一モデルを実行する場合、ローカルアクセラレータはクラウドアクセラレータよりも少なくとも1.4倍低いIPWを達成し、最適化に大きな余地があることが示された。これらの知見は、ローカル推論が集中型インフラからの需要を有意に再分配できる可能性を示しており、IPWがこの移行を追跡する重要な指標となる。我々は、体系的なワットあたり知能ベンチマーキングのためのIPWプロファイリングツールを公開する。

English

Large language model (LLM) queries are predominantly processed by frontier models in centralized cloud infrastructure. Rapidly growing demand strains this paradigm, and cloud providers struggle to scale infrastructure at pace. Two advances enable us to rethink this paradigm: small LMs (<=20B active parameters) now achieve competitive performance to frontier models on many tasks, and local accelerators (e.g., Apple M4 Max) run these models at interactive latencies. This raises the question: can local inference viably redistribute demand from centralized infrastructure? Answering this requires measuring whether local LMs can accurately answer real-world queries and whether they can do so efficiently enough to be practical on power-constrained devices (i.e., laptops). We propose intelligence per watt (IPW), task accuracy divided by unit of power, as a metric for assessing capability and efficiency of local inference across model-accelerator pairs. We conduct a large-scale empirical study across 20+ state-of-the-art local LMs, 8 accelerators, and a representative subset of LLM traffic: 1M real-world single-turn chat and reasoning queries. For each query, we measure accuracy, energy, latency, and power. Our analysis reveals 3 findings. First, local LMs can accurately answer 88.7% of single-turn chat and reasoning queries with accuracy varying by domain. Second, from 2023-2025, IPW improved 5.3x and local query coverage rose from 23.2% to 71.3%. Third, local accelerators achieve at least 1.4x lower IPW than cloud accelerators running identical models, revealing significant headroom for optimization. These findings demonstrate that local inference can meaningfully redistribute demand from centralized infrastructure, with IPW serving as the critical metric for tracking this transition. We release our IPW profiling harness for systematic intelligence-per-watt benchmarking.

ワットあたりの知能：ローカルAIの知能効率の測定

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

要旨

Support