Position : l'inférence des LLM devrait être évaluée comme une production de jetons à partir d'énergie.

Résumé

L'inférence des LLM est encore principalement évaluée comme un problème de modèle ou de logiciel : précision, latence, débit et utilisation du matériel. Cette approche est incomplète. À l'échelle du déploiement, la sortie pertinente est un token conditionné par la qualité, produit sous des contraintes conjointes de calcul effectif, de puissance délivrée dans le centre de données, de capacité de refroidissement, de PUE et de taux d'utilisation. Nous soutenons que la communauté du machine learning devrait considérer l'inférence comme une production de tokens à partir d'énergie. Nous formalisons ce point de vue avec une Fonction de Production de Tokens dimensionnellement cohérente, dans laquelle le taux de production de tokens est borné à la fois par des plafonds de calcul par token et d'énergie par token. Les prix API affichés varient de plus d'un ordre de grandeur selon les fournisseurs, mais nous n'utilisons la dispersion des prix que comme motivation directionnelle, et non comme preuve causale du coût marginal. La question physique centrale est plutôt la suivante : sous des cibles fixes de qualité et de service, quand la contrainte limitante passe-t-elle du pic de calcul théorique à la puissance délivrée, au refroidissement et à l'efficacité opérationnelle ? Dans ce cadre, les optimisations système — compression du cache KV latent, attention sparse ou fortement compressée, quantification, routage et raisonnement adaptatif à la difficulté — ne sont pas de simples astuces d'ingénierie locales. Ce sont des leviers de conversion énergie-token, car elles réduisent les FLOPs/token, les joules/token, le trafic mémoire ou les pertes d'utilisation sous des (q^{*}, s^{*}) fixes. Nous appelons donc les articles et benchmarks sur l'inférence à rapporter les joules/token, la contrainte limitante active, la puissance délivrée ajustée du PUE et la production de tokens ajustée du taux d'utilisation, en plus de la précision et de la latence.

English

LLM inference is still evaluated mainly as a model or software problem: accuracy, latency, throughput, and hardware utilization. This is incomplete. At deployment scale, the relevant output is a quality-conditioned token produced under joint constraints from effective compute, delivered data-center power, cooling capacity, PUE, and utilization. We argue that the ML community should treat inference as energy-to-token production. We formalize this view with a dimensionally consistent Token Production Function in which token rate is bounded by both compute-per-token and energy-per-token ceilings. Listed API prices vary by over an order of magnitude across providers, but we use price dispersion only as directional motivation, not as causal evidence of marginal cost. The core physical question is instead: under fixed quality and service targets, when does the binding constraint move from theoretical peak compute toward delivered power, cooling, and operational efficiency? Under this framing, system optimizations -- latent KV-cache compression, sparse or heavily compressed attention, quantization, routing, and difficulty-adaptive reasoning -- are not merely local engineering tricks. They are energy-to-token levers because they reduce FLOPs/token, joules/token, memory traffic, or utilization losses under fixed (q^{*},s^{*}). We therefore call for inference papers and benchmarks to report Joules/token, active binding constraint, PUE-adjusted delivered power, and utilization-adjusted token output alongside accuracy and latency.