DumpsterCluster: ダンプスター・ダイビングから60ドルGPUでLLaMA-70Bを提供するまで

要旨

AIデータセンターが機能するGPUを退役させるにつれ、いまだ十分な性能を持つ多数のアクセラレータが中古市場に流入している。本稿では、こうした退役GPUが現代のLLM推論に利用できるDumpsterClusterとして生産的な第二の人生を見いだせるかどうか、またそのような再利用が経済的に実行可能で環境的に持続可能となる条件を検討する。我々は、中古部品のみを用いて128GPU構成のDumpsterClusterをゼロから実際に構築し、1年間稼働させた。現在の市場価格（DumpsterClusterは22Kドル、8GPUのB200システムは600Kドル）では、経済的優位性は極めて大きい。パイプライン並列最適化により、我々のV100ベースのDumpsterClusterは競争力のあるLLaMA-70Bスループットを達成し、本番環境での実用性を検証した。しかし、この導入経験は重要な状況依存性を明らかにしている。旧世代のGPUはトークンあたりのエネルギー消費が大幅に多く、総所有コストが有利となるのは電力料金の安い地域に限られる。系統平均の炭素強度の下では、中古システムは、現行世代のハードウェアと比較して、8Bモデルではトークンあたりの総炭素排出量が約4倍、70Bモデルでは40倍以上になる。これらの知見は、GPUの余生が普遍的に持続可能ではないことを示している。ハードウェアの再利用は、低炭素エネルギー源と戦略的に組み合わせる必要がある。エネルギー経済性が良好でクリーンな電力が利用できる地域に導入された場合、中古GPUは、手頃な価格、エネルギー安全保障、環境責任を推進しながらAI能力を拡大するための実行可能な経路を提供する。

English

As AI datacenters retire functional GPUs, vast quantities of still capable accelerators enter secondary markets. This paper investigates whether these retired GPUs can find a productive afterlife to form a DumpsterCluster that can serve modern LLM inference, and under what conditions such repurposing is economically viable and environmentally sustainable. We physically built a 128-GPU DumpsterCluster from scratch using only second-hand components and ran it for one year. At current market prices (\22K for the DumpsterCluster vs. 600K for an 8-GPU B200 system), the economic advantages are substantial. Through pipeline-parallel optimizations, our V100 based DumpsterCluster achieves competitive LLaMA-70B throughput, validating production viability. However, our deployment reveals critical context dependencies. Older GPUs consume significantly more energy per token, making total cost of ownership favorable only in regions with inexpensive electricity. Under grid-average carbon intensity, second-hand systems can produce approximately 4x higher total carbon emissions per token for 8B models, and over 40x for 70B models, compared to current-generation hardware. These findings show that GPU afterlife is not universally sustainable - hardware repurposing must be strategically coupled with low carbon energy sources. When deployed in regions with favourable energy economics and clean electricity, second-hand GPUs offer a viable pathway for expanding AI capacity while advancing affordability, energy security, and environmental responsibility.