Le Rôle des Ressources Informatiques dans la Publication de Recherches sur les Modèles Fondamentaux
The Role of Computing Resources in Publishing Foundation Model Research
October 15, 2025
papers.authors: Yuexing Hao, Yue Huang, Haoran Zhang, Chenyang Zhao, Zhenwen Liang, Paul Pu Liang, Yue Zhao, Lichao Sun, Saleh Kalantari, Xiangliang Zhang, Marzyeh Ghassemi
cs.AI
papers.abstract
La recherche de pointe en intelligence artificielle (IA) nécessite des ressources considérables, notamment des unités de traitement graphique (GPU), des données et des ressources humaines. Dans cet article, nous évaluons la relation entre ces ressources et l'avancée scientifique des modèles de base (Foundation Models, FM). Nous avons examiné 6517 articles sur les FM publiés entre 2022 et 2024 et interrogé 229 premiers auteurs sur l'impact des ressources de calcul sur la production scientifique. Nous constatons qu'une augmentation des ressources de calcul est corrélée aux allocations de financement nationales et aux citations, mais nos résultats ne montrent pas de corrélations fortes avec l'environnement de recherche (académique ou industriel), le domaine ou la méthodologie d'étude. Nous recommandons aux individus et aux institutions de se concentrer sur la création d'opportunités de calcul partagées et abordables afin de réduire les barrières à l'entrée pour les chercheurs disposant de ressources limitées. Ces mesures peuvent contribuer à élargir la participation à la recherche sur les FM, favoriser la diversité des idées et des contributeurs, et soutenir l'innovation et le progrès en IA. Les données seront disponibles à l'adresse suivante : https://mit-calc.csail.mit.edu/
English
Cutting-edge research in Artificial Intelligence (AI) requires considerable
resources, including Graphics Processing Units (GPUs), data, and human
resources. In this paper, we evaluate of the relationship between these
resources and the scientific advancement of foundation models (FM). We reviewed
6517 FM papers published between 2022 to 2024, and surveyed 229 first-authors
to the impact of computing resources on scientific output. We find that
increased computing is correlated with national funding allocations and
citations, but our findings don't observe the strong correlations with research
environment (academic or industrial), domain, or study methodology. We advise
that individuals and institutions focus on creating shared and affordable
computing opportunities to lower the entry barrier for under-resourced
researchers. These steps can help expand participation in FM research, foster
diversity of ideas and contributors, and sustain innovation and progress in AI.
The data will be available at: https://mit-calc.csail.mit.edu/