Роль вычислительных ресурсов в публикации исследований фундаментальных моделей
The Role of Computing Resources in Publishing Foundation Model Research
October 15, 2025
Авторы: Yuexing Hao, Yue Huang, Haoran Zhang, Chenyang Zhao, Zhenwen Liang, Paul Pu Liang, Yue Zhao, Lichao Sun, Saleh Kalantari, Xiangliang Zhang, Marzyeh Ghassemi
cs.AI
Аннотация
Передовые исследования в области искусственного интеллекта (ИИ) требуют значительных ресурсов, включая графические процессоры (GPU), данные и человеческие ресурсы. В данной статье мы оцениваем взаимосвязь между этими ресурсами и научным прогрессом в разработке базовых моделей (Foundation Models, FM). Мы проанализировали 6517 научных статей по FM, опубликованных в период с 2022 по 2024 год, и провели опрос 229 первых авторов, чтобы изучить влияние вычислительных ресурсов на научные результаты. Мы обнаружили, что увеличение вычислительных мощностей коррелирует с национальным финансированием и количеством цитирований, однако не наблюдали сильной зависимости от исследовательской среды (академической или промышленной), области исследования или методологии. Мы рекомендуем отдельным исследователям и учреждениям сосредоточиться на создании общих и доступных вычислительных возможностей, чтобы снизить барьер входа для недостаточно обеспеченных ресурсами исследователей. Такие шаги могут способствовать расширению участия в исследованиях FM, стимулированию разнообразия идей и участников, а также поддержанию инноваций и прогресса в области ИИ. Данные будут доступны по адресу: https://mit-calc.csail.mit.edu/.
English
Cutting-edge research in Artificial Intelligence (AI) requires considerable
resources, including Graphics Processing Units (GPUs), data, and human
resources. In this paper, we evaluate of the relationship between these
resources and the scientific advancement of foundation models (FM). We reviewed
6517 FM papers published between 2022 to 2024, and surveyed 229 first-authors
to the impact of computing resources on scientific output. We find that
increased computing is correlated with national funding allocations and
citations, but our findings don't observe the strong correlations with research
environment (academic or industrial), domain, or study methodology. We advise
that individuals and institutions focus on creating shared and affordable
computing opportunities to lower the entry barrier for under-resourced
researchers. These steps can help expand participation in FM research, foster
diversity of ideas and contributors, and sustain innovation and progress in AI.
The data will be available at: https://mit-calc.csail.mit.edu/