基盤モデル研究の出版における計算資源の役割

要旨

人工知能（AI）における最先端の研究には、グラフィックスプロセッシングユニット（GPU）、データ、人的資源など、相当なリソースが必要とされる。本論文では、これらのリソースと基盤モデル（Foundation Models, FM）の科学的進歩との関係を評価する。2022年から2024年にかけて発表された6517件のFM関連論文をレビューし、229名の第一著者に対して、計算リソースが科学的成果に与える影響について調査を行った。その結果、計算リソースの増加は国家の資金配分や被引用数と相関があることが明らかとなったが、研究環境（学術界または産業界）、分野、研究方法論との強い相関は観察されなかった。個人や機関は、リソースが限られた研究者の参入障壁を低くするために、共有可能で手頃な計算機会を創出することに注力することを推奨する。これらの取り組みは、FM研究への参加を拡大し、アイデアや貢献者の多様性を促進し、AIにおけるイノベーションと進歩を持続させることに寄与する。データは以下のURLで公開される：https://mit-calc.csail.mit.edu/

English

Cutting-edge research in Artificial Intelligence (AI) requires considerable resources, including Graphics Processing Units (GPUs), data, and human resources. In this paper, we evaluate of the relationship between these resources and the scientific advancement of foundation models (FM). We reviewed 6517 FM papers published between 2022 to 2024, and surveyed 229 first-authors to the impact of computing resources on scientific output. We find that increased computing is correlated with national funding allocations and citations, but our findings don't observe the strong correlations with research environment (academic or industrial), domain, or study methodology. We advise that individuals and institutions focus on creating shared and affordable computing opportunities to lower the entry barrier for under-resourced researchers. These steps can help expand participation in FM research, foster diversity of ideas and contributors, and sustain innovation and progress in AI. The data will be available at: https://mit-calc.csail.mit.edu/

基盤モデル研究の出版における計算資源の役割

The Role of Computing Resources in Publishing Foundation Model Research

要旨

Support