기초 모델 연구 출판에서 컴퓨팅 자원의 역할

초록

인공지능(AI) 분야의 최첨단 연구는 그래픽 처리 장치(GPU), 데이터, 인적 자원 등 상당한 자원을 필요로 합니다. 본 논문에서는 이러한 자원과 기초 모델(FM)의 과학적 발전 간의 관계를 평가합니다. 우리는 2022년부터 2024년 사이에 발표된 6,517편의 FM 논문을 검토하고, 229명의 제1저자를 대상으로 컴퓨팅 자원이 과학적 성과에 미치는 영향을 조사했습니다. 연구 결과, 컴퓨팅 자원의 증가는 국가별 자금 배분 및 인용 횟수와 상관관계가 있는 것으로 나타났지만, 연구 환경(학계 또는 산업계), 분야, 연구 방법론과는 강한 상관관계가 관찰되지 않았습니다. 우리는 개인과 기관이 자원이 부족한 연구자들의 진입 장벽을 낮추기 위해 공유 가능하고 경제적인 컴퓨팅 기회를 조성하는 데 집중할 것을 권장합니다. 이러한 조치는 FM 연구 참여를 확대하고, 아이디어와 기여자의 다양성을 촉진하며, AI 분야의 혁신과 진전을 지속하는 데 도움이 될 수 있습니다. 데이터는 https://mit-calc.csail.mit.edu/에서 확인할 수 있습니다.

English

Cutting-edge research in Artificial Intelligence (AI) requires considerable resources, including Graphics Processing Units (GPUs), data, and human resources. In this paper, we evaluate of the relationship between these resources and the scientific advancement of foundation models (FM). We reviewed 6517 FM papers published between 2022 to 2024, and surveyed 229 first-authors to the impact of computing resources on scientific output. We find that increased computing is correlated with national funding allocations and citations, but our findings don't observe the strong correlations with research environment (academic or industrial), domain, or study methodology. We advise that individuals and institutions focus on creating shared and affordable computing opportunities to lower the entry barrier for under-resourced researchers. These steps can help expand participation in FM research, foster diversity of ideas and contributors, and sustain innovation and progress in AI. The data will be available at: https://mit-calc.csail.mit.edu/

기초 모델 연구 출판에서 컴퓨팅 자원의 역할

The Role of Computing Resources in Publishing Foundation Model Research

초록

Support