E-Commerce Bench：長期的な自律的ビジネス運営におけるLLMエージェントの評価

要旨

長期時間軸にわたるエージェントタスクは、単に短期タスクを多数の対話ターンにわたって連鎖させるものではない。そのようなタスクでは、環境が動的に変化し、長距離の依存関係が存在するため、大規模言語モデル（LLM）は数千ステップにわたって継続的に探索し、経験から学習し、方針を適応させることが求められる。我々は、複数回の交渉相手との交渉と動的事象を1年間の事業運営に統合した、初のオープンソースベンチマークであるE-Commerce Benchを提案する。365日の1年間において、LLMエージェントは複数のオンラインストアを並行して運営し、市場調査、仕入れ先との在庫調達交渉、販売戦略の最適化、注文処理、返品対応、キャッシュフロー管理を行い、年度末の総資産を最大化することを目指す。現実的な販売者側の運営環境を構築するため、商品データと仕入れ先データは実際の電子商取引プラットフォームから取得し、一方で1年分のプロモーション、自然災害、サプライチェーン混乱のカレンダーによって需要が継続的に変化する。再現性を確保するため、市場の両側は決定論的に動作する。顧客の購入と返品は固定された需要モデルに従い、交渉カーネルが仕入れ先の価格設定、譲歩、意思決定を決定し、LLMはそれらの言語化のみに使用される。我々は、年度末資産を含む7つの側面にわたって18のフロンティアモデルを評価し、単一のモデルが全ての側面で優位に立つことはないことを見出した。GPT-5.6 Solは最も多くの収益を上げ、開始資金100,000を1,431,425まで増加させたが、詐欺回避では18モデル中16位であり、運用効率ではFable5に及ばなかった。オープンウェイトモデルの中で、Qwen3.8-Max-Previewは416,252で首位となり、GLM 5.2 (high)を38%上回り、さらに時間軸全体を通じて最強の学習能力を示し、反復注文を通じて価格を漸進的に交渉で引き下げた。我々のコードはhttps://github.com/QwenLM/E-CommerceBenchで公開されている。

English

Long-horizon agentic tasks go beyond chaining short tasks over more interaction turns. Their evolving dynamic environments and long-range dependencies require Large Language Models (LLMs) to continually explore, learn from experience, and adapt their policies over thousands of steps. We introduce E-Commerce Bench, the first open-source benchmark that integrates multi-round counterpart negotiation and dynamic events into a year-long business operation. Over a 365-day year, an LLM agent concurrently runs multiple online stores, researching the market, negotiating with suppliers to source inventory, optimizing sales strategies, fulfilling orders, handling returns, and managing cash flow to maximize its end-of-year total assets. To construct a realistic merchant-side operating environment, the product and supplier data are derived from a real e-commerce platform, while a year-long calendar of promotions, natural disasters, and supply-chain shocks continually reshapes demand. For reproducibility, both sides of the market are deterministic: customer purchases and returns follow a fixed demand model, while a negotiation kernel determines supplier pricing, concessions, and decisions, with an LLM used only to verbalize them. We evaluate 18 frontier models across seven dimensions, including year-end assets, and find that no single model dominates. GPT-5.6 Sol earns the most, growing the 100,000 opening stake into 1,431,425, yet it ranks 16th of 18 on fraud avoidance and trails Fable5 in operational efficiency. Among open-weight models, Qwen3.8-Max-Preview leads with 416,252, 38% above GLM 5.2 (high), and achieves the strongest learning over the horizon, progressively bargaining down prices across repeated orders. Our code is available at https://github.com/QwenLM/E-CommerceBench.