Coût-du-Passage : Un Cadre Économique pour l'Évaluation des Modèles de Langage

Cost-of-Pass: An Economic Framework for Evaluating Language Models

April 17, 2025

Auteurs: Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

cs.AI

Résumé

L'adoption généralisée des systèmes d'IA dans l'économie dépend de leur capacité à générer une valeur économique qui dépasse leurs coûts d'inférence. L'évaluation de ce compromis nécessite des métriques qui prennent en compte à la fois la performance et les coûts. Nous proposons un cadre fondé sur la théorie de la production pour évaluer les modèles de langage en combinant précision et coût d'inférence. Nous introduisons le "coût-par-passage", le coût monétaire attendu pour générer une solution correcte. Nous définissons ensuite le "coût-par-passage de la frontière" comme le coût-par-passage minimum réalisable parmi les modèles disponibles ou celui d'un "expert humain", en utilisant le coût approximatif d'embauche d'un expert. Notre analyse révèle des insights économiques distincts. Premièrement, les modèles légers sont les plus rentables pour les tâches quantitatives de base, les grands modèles pour les tâches intensives en connaissances, et les modèles de raisonnement pour les problèmes quantitatifs complexes, malgré des coûts par token plus élevés. Deuxièmement, le suivi de ce coût-par-passage de la frontière au cours de l'année écoulée montre des progrès significatifs, en particulier pour les tâches quantitatives complexes où le coût a été à peu près divisé par deux tous les quelques mois. Troisièmement, pour retracer les innovations clés qui ont conduit à ces progrès, nous examinons les frontières contrefactuelles : des estimations de l'efficacité-coût sans classes spécifiques de modèles. Nous constatons que les innovations dans les modèles légers, grands et de raisonnement ont été essentielles pour repousser la frontière dans les tâches quantitatives de base, intensives en connaissances et quantitatives complexes, respectivement. Enfin, nous évaluons les réductions de coûts offertes par des techniques courantes d'inférence comme le vote majoritaire et l'auto-affinage, et constatons que leurs gains marginaux en précision justifient rarement leurs coûts. Nos résultats soulignent que les innovations complémentaires au niveau des modèles sont les principaux moteurs de l'efficacité-coût, et notre cadre économique fournit un outil rigoureux pour mesurer ces progrès et guider le déploiement.

English

The widespread adoption of AI systems in the economy hinges on their ability to generate economic value that outweighs their inference costs. Evaluating this tradeoff requires metrics that account for both performance and costs. We propose a framework grounded in production theory for evaluating language models by combining accuracy and inference cost. We introduce "cost-of-pass", the expected monetary cost of generating a correct solution. We then define the "frontier cost-of-pass" as the minimum cost-of-pass achievable across available models or the "human-expert, using the approximate cost of hiring an expert. Our analysis reveals distinct economic insights. First, lightweight models are most cost-effective for basic quantitative tasks, large models for knowledge-intensive ones, and reasoning models for complex quantitative problems, despite higher per-token costs. Second, tracking this frontier cost-of-pass over the past year reveals significant progress, particularly for complex quantitative tasks where the cost has roughly halved every few months. Third, to trace key innovations driving this progress, we examine counterfactual frontiers: estimates of cost-efficiency without specific model classes. We find that innovations in lightweight, large, and reasoning models have been essential for pushing the frontier in basic quantitative, knowledge-intensive, and complex quantitative tasks, respectively. Finally, we assess the cost-reductions afforded by common inference-time techniques like majority voting and self-refinement, finding that their marginal accuracy gains rarely justify their costs. Our findings underscore that complementary model-level innovations are the primary drivers of cost-efficiency, and our economic framework provides a principled tool for measuring this progress and guiding deployment.