E-Commerce Bench: 장기적 자율 비즈니스 운영에서의 LLM 에이전트 평가

초록

장기 지평 에이전트 작업은 단순히 더 많은 상호작용 턴에 걸쳐 짧은 작업을 연결하는 수준을 넘어선다. 이러한 작업의 끊임없이 변화하는 동적 환경과 장기 의존성은 대규모 언어 모델(LLM)이 수천 단계에 걸쳐 지속적으로 탐색하고, 경험으로부터 학습하며, 자신의 정책을 적응시키는 것을 요구한다. 본 논문에서는 1년에 걸친 사업 운영에 거래 상대방과의 다회차 협상과 동적 이벤트를 통합한 최초의 오픈소스 벤치마크인 E-Commerce Bench를 소개한다. 365일 동안 LLM 에이전트는 여러 온라인 스토어를 동시에 운영하며, 시장을 조사하고, 재고를 확보하기 위해 공급업체와 협상하고, 판매 전략을 최적화하고, 주문을 이행하고, 반품을 처리하며, 연말 총자산을 극대화하기 위해 현금 흐름을 관리한다. 현실적인 판매자 측 운영 환경을 구축하기 위해 제품 및 공급업체 데이터는 실제 전자상거래 플랫폼에서 비롯되었으며, 프로모션, 자연재해, 공급망 충격으로 구성된 연간 일정이 수요를 지속적으로 변화시킨다. 재현성을 위해 시장의 양측은 결정론적으로 작동한다. 고객의 구매와 반품은 고정된 수요 모델을 따르며, 협상 커널이 공급업체의 가격 책정, 양보, 결정을 정하고, LLM은 이를 언어로 표현하는 데에만 사용된다. 본 논문에서는 연말 자산을 포함한 7개 차원에 걸쳐 18개의 최첨단 모델을 평가했으며, 어떤 단일 모델도 전반적으로 우세하지 않다는 점을 확인했다. GPT-5.6 Sol은 가장 많은 수익을 올려 초기 자본 100,000을 1,431,425로 성장시켰지만, 사기 방지 부문에서는 18개 중 16위에 그쳤고 운영 효율성에서는 Fable5에 뒤처졌다. 오픈 가중치 모델 중에서는 Qwen3.8-Max-Preview가 416,252로 선두를 차지했으며, 이는 GLM 5.2 (high)보다 38% 높은 수치이다. 또한 Qwen3.8-Max-Preview는 반복 주문에서 점진적으로 가격을 낮추는 협상을 수행함으로써 지평 전반에 걸쳐 가장 강력한 학습 성과를 보였다. 소스 코드는 https://github.com/QwenLM/E-CommerceBench에서 확인할 수 있다.

English

Long-horizon agentic tasks go beyond chaining short tasks over more interaction turns. Their evolving dynamic environments and long-range dependencies require Large Language Models (LLMs) to continually explore, learn from experience, and adapt their policies over thousands of steps. We introduce E-Commerce Bench, the first open-source benchmark that integrates multi-round counterpart negotiation and dynamic events into a year-long business operation. Over a 365-day year, an LLM agent concurrently runs multiple online stores, researching the market, negotiating with suppliers to source inventory, optimizing sales strategies, fulfilling orders, handling returns, and managing cash flow to maximize its end-of-year total assets. To construct a realistic merchant-side operating environment, the product and supplier data are derived from a real e-commerce platform, while a year-long calendar of promotions, natural disasters, and supply-chain shocks continually reshapes demand. For reproducibility, both sides of the market are deterministic: customer purchases and returns follow a fixed demand model, while a negotiation kernel determines supplier pricing, concessions, and decisions, with an LLM used only to verbalize them. We evaluate 18 frontier models across seven dimensions, including year-end assets, and find that no single model dominates. GPT-5.6 Sol earns the most, growing the 100,000 opening stake into 1,431,425, yet it ranks 16th of 18 on fraud avoidance and trails Fable5 in operational efficiency. Among open-weight models, Qwen3.8-Max-Preview leads with 416,252, 38% above GLM 5.2 (high), and achieves the strongest learning over the horizon, progressively bargaining down prices across repeated orders. Our code is available at https://github.com/QwenLM/E-CommerceBench.