DumpsterCluster: 쓰레기 줍기부터 60달러 GPU에서 LLaMA-70B 서빙까지

초록

AI 데이터센터가 작동 가능한 GPU를 폐기함에 따라, 여전히 충분한 성능을 갖춘 가속기들이 대량으로 중고 시장에 유입되고 있다. 본 논문은 이러한 폐기 GPU들이 현대 LLM 추론을 서비스할 수 있는 DumpsterCluster로 생산적인 제2의 수명을 찾을 수 있는지, 그리고 어떠한 조건에서 이러한 재활용이 경제적으로 타당하고 환경적으로 지속 가능한지 조사한다. 우리는 중고 부품만을 사용하여 128-GPU DumpsterCluster를 처음부터 물리적으로 구축하고 1년간 운영하였다. 현재 시장 가격(DumpsterCluster 22,000달러 대 8-GPU B200 시스템 600,000달러)을 기준으로 볼 때, 경제적 이점은 상당하다. 파이프라인 병렬화 최적화를 통해 우리의 V100 기반 DumpsterCluster는 LLaMA-70B 추론에서 경쟁력 있는 처리량을 달성하여, 실사용 환경에서의 생산 가능성을 입증하였다. 그러나 우리의 배포 경험은 중요한 맥락 의존성을 드러낸다. 구형 GPU는 토큰당 훨씬 더 많은 에너지를 소비하므로, 총소유비용은 전력 요금이 저렴한 지역에서만 유리하다. 계통 평균 탄소 집약도 기준으로, 중고 시스템은 현재 세대 하드웨어와 비교하여 8B 모델의 경우 토큰당 총 탄소 배출량이 약 4배, 70B 모델의 경우 40배 이상 높을 수 있다. 이러한 발견은 GPU의 제2의 수명이 보편적으로 지속 가능하지 않음을 보여준다 — 하드웨어 재활용은 저탄소 에너지원과 전략적으로 결합되어야 한다. 유리한 에너지 경제성과 청정 전력을 갖춘 지역에 배포될 때, 중고 GPU는 AI 용량을 확장하면서 경제성, 에너지 안보, 환경 책임을 동시에 증진시키는 실행 가능한 경로를 제공한다.

English

As AI datacenters retire functional GPUs, vast quantities of still capable accelerators enter secondary markets. This paper investigates whether these retired GPUs can find a productive afterlife to form a DumpsterCluster that can serve modern LLM inference, and under what conditions such repurposing is economically viable and environmentally sustainable. We physically built a 128-GPU DumpsterCluster from scratch using only second-hand components and ran it for one year. At current market prices (\22K for the DumpsterCluster vs. 600K for an 8-GPU B200 system), the economic advantages are substantial. Through pipeline-parallel optimizations, our V100 based DumpsterCluster achieves competitive LLaMA-70B throughput, validating production viability. However, our deployment reveals critical context dependencies. Older GPUs consume significantly more energy per token, making total cost of ownership favorable only in regions with inexpensive electricity. Under grid-average carbon intensity, second-hand systems can produce approximately 4x higher total carbon emissions per token for 8B models, and over 40x for 70B models, compared to current-generation hardware. These findings show that GPU afterlife is not universally sustainable - hardware repurposing must be strategically coupled with low carbon energy sources. When deployed in regions with favourable energy economics and clean electricity, second-hand GPUs offer a viable pathway for expanding AI capacity while advancing affordability, energy security, and environmental responsibility.