FLOPsからフットプリントへ：人工知能のリソースコスト

要旨

計算需要の継続的な増大に伴い、AIの環境フットプリントを評価するには、エネルギーと水の消費量だけでなく、専用ハードウェアの物質的需要も考慮する必要がある。本研究は、計算ワークロードを物理的なハードウェア需要に結びつけることで、AI学習の物質的フットプリントを定量化する。Nvidia A100 SXM 40 GB GPUの元素組成をICP-OESにより分析した結果、32元素が同定された。AIハードウェアは質量比で約90%が重金属で構成され、貴金属はごく微量しか含まれていないことが結果から示された。GPUの組成は、銅、鉄、錫、シリコン、ニッケルが質量で支配的である。多段階の方法論により、これらの測定値を様々な寿命にわたるGPUあたりの計算スループットと統合し、異なる学習効率レジームにおける特定のAIモデル学習の計算要件を考慮した。シナリオ分析により、Model FLOPs Utilization（MFU）とハードウェア寿命に依存して、GPT-4の学習には1,174台から8,800台のA100 GPUが必要となり、最大7トンの有毒元素の採掘と最終的な廃棄に対応することが明らかになった。ソフトウェアとハードウェアの最適化戦略を組み合わせることで物質的需要を削減できる：MFUを20%から60%に向上させるとGPU要求量は67%減少し、寿命を1年から3年に延ばすと同程度の削減効果が得られる；両対策を実施するとGPU需要は最大93%削減される。我々の知見は、GPT-3.5とGPT-4の間に観察されたような漸進的な性能向上が、不均衡に高い物質的コストを伴うことを浮き彫りにする。本研究は、AIのスケーラビリティに関する議論に物質資源の考察を組み込む必要性を強調し、AIの将来の進歩が資源効率と環境責任の原則に沿うものでなければならないことを示唆する。

English

As computational demands continue to rise, assessing the environmental footprint of AI requires moving beyond energy and water consumption to include the material demands of specialized hardware. This study quantifies the material footprint of AI training by linking computational workloads to physical hardware needs. The elemental composition of the Nvidia A100 SXM 40 GB graphics processing unit (GPU) was analyzed using inductively coupled plasma optical emission spectroscopy, which identified 32 elements. The results show that AI hardware consists of about 90% heavy metals and only trace amounts of precious metals. The elements copper, iron, tin, silicon, and nickel dominate the GPU composition by mass. In a multi-step methodology, we integrate these measurements with computational throughput per GPU across varying lifespans, accounting for the computational requirements of training specific AI models at different training efficiency regimes. Scenario-based analyses reveal that, depending on Model FLOPs Utilization (MFU) and hardware lifespan, training GPT-4 requires between 1,174 and 8,800 A100 GPUs, corresponding to the extraction and eventual disposal of up to 7 tons of toxic elements. Combined software and hardware optimization strategies can reduce material demands: increasing MFU from 20% to 60% lowers GPU requirements by 67%, while extending lifespan from 1 to 3 years yields comparable savings; implementing both measures together reduces GPU needs by up to 93%. Our findings highlight that incremental performance gains, such as those observed between GPT-3.5 and GPT-4, come at disproportionately high material costs. The study underscores the necessity of incorporating material resource considerations into discussions of AI scalability, emphasizing that future progress in AI must align with principles of resource efficiency and environmental responsibility.

FLOPsからフットプリントへ：人工知能のリソースコスト

From FLOPs to Footprints: The Resource Cost of Artificial Intelligence

要旨

Support