FLOP에서 발자국까지: 인공지능의 자원 비용

초록

계산 수요가 지속적으로 증가함에 따라 AI의 환경적 발자국을 평가하려면 에너지 및 물 소비를 넘어 특수 하드웨어의 물질적 수요를 포함해야 합니다. 본 연구는 계산 작업량을 물리적 하드웨어 수요와 연결하여 AI 훈련의 물질적 발자국을 정량화합니다. 유도결합 플라즈마 발광 분광법을 통해 Nvidia A100 SXM 40GB 그래픽 처리 장치(GPU)의 원소 구성을 분석한 결과 32가지 원소가 확인되었습니다. 결과에 따르면 AI 하드웨어는 약 90%가 중금속으로 구성되어 있으며 귀금속은 극미량만 포함되어 있습니다. 구리, 철, 주석, 실리콘, 니켈 원소가 질량 기준으로 GPU 구성의 대부분을 차지합니다. 다단계 방법론을 통해 이러한 측정값을 다양한 수명 주기별 GPU당 계산 처리량과 통합하고, 서로 다른 훈련 효율 체계에서 특정 AI 모델을 훈련시키는 데 필요한 계산 요구 사항을 고려합니다. 시나리오 기반 분석에 따르면 Model FLOPs Utilization(MFU) 및 하드웨어 수명에 따라 GPT-4 훈련에는 1,174~8,800개의 A100 GPU가 필요하며, 이는 최대 7톤의 유해 원소 채굴 및 최종적 처분에 해당합니다. 소프트웨어와 하드웨어 최적화 전략을 결합하면 물질적 수요를 줄일 수 있습니다. MFU를 20%에서 60%로 높이면 GPU 요구량이 67% 감소하며, 수명을 1년에서 3년으로 연장하면 유사한 수준의 절감 효과를 얻습니다. 두 조치를 함께 구현하면 GPU 필요량을 최대 93%까지 줄일 수 있습니다. 본 연구의 결과는 GPT-3.5와 GPT-4 사이에서 관찰된 것과 같은 점진적인 성능 향상이 균형을 잃을 정도로 높은 물질적 비용을 수반함을 보여줍니다. 이 연구는 AI 확장성에 대한 논의에 물질 자원 고려 사항을 반드시 포함해야 함을 강조하며, AI의 미래 발전은 자원 효율성과 환경 책임성 원칙과 조화를 이루어야 함을 시사합니다.

English

As computational demands continue to rise, assessing the environmental footprint of AI requires moving beyond energy and water consumption to include the material demands of specialized hardware. This study quantifies the material footprint of AI training by linking computational workloads to physical hardware needs. The elemental composition of the Nvidia A100 SXM 40 GB graphics processing unit (GPU) was analyzed using inductively coupled plasma optical emission spectroscopy, which identified 32 elements. The results show that AI hardware consists of about 90% heavy metals and only trace amounts of precious metals. The elements copper, iron, tin, silicon, and nickel dominate the GPU composition by mass. In a multi-step methodology, we integrate these measurements with computational throughput per GPU across varying lifespans, accounting for the computational requirements of training specific AI models at different training efficiency regimes. Scenario-based analyses reveal that, depending on Model FLOPs Utilization (MFU) and hardware lifespan, training GPT-4 requires between 1,174 and 8,800 A100 GPUs, corresponding to the extraction and eventual disposal of up to 7 tons of toxic elements. Combined software and hardware optimization strategies can reduce material demands: increasing MFU from 20% to 60% lowers GPU requirements by 67%, while extending lifespan from 1 to 3 years yields comparable savings; implementing both measures together reduces GPU needs by up to 93%. Our findings highlight that incremental performance gains, such as those observed between GPT-3.5 and GPT-4, come at disproportionately high material costs. The study underscores the necessity of incorporating material resource considerations into discussions of AI scalability, emphasizing that future progress in AI must align with principles of resource efficiency and environmental responsibility.

FLOP에서 발자국까지: 인공지능의 자원 비용

From FLOPs to Footprints: The Resource Cost of Artificial Intelligence

초록

Support