StockBench: LLMエージェントは現実世界の市場で株式を利益的に取引できるか？

要旨

大規模言語モデル（LLM）は最近、自律エージェントとしての強力な能力を示し、推論、ツールの使用、逐次的意思決定において有望な成果を見せている。これまでのベンチマークでは、ソフトウェアエンジニアリングや科学的発見などの領域でLLMエージェントが評価されてきたが、経済的価値とハイステークスな意思決定に直接関連する金融領域は未開拓のままである。既存の金融ベンチマークは主に質問応答を通じて静的な知識をテストするが、取引の動的かつ反復的な性質を捉えるには不十分である。このギャップを埋めるため、我々はStockBenchを導入する。これは、現実的な複数月にわたる株式取引環境でLLMエージェントを評価するための汚染のないベンチマークである。エージェントは、価格、ファンダメンタルズ、ニュースなどの日々の市場シグナルを受け取り、逐次的に買い、売り、または保有の意思決定を行わなければならない。パフォーマンスは、累積リターン、最大ドローダウン、ソルティノ比率などの金融指標を用いて評価される。最先端のプロプライエタリモデル（例：GPT-5、Claude-4）とオープンウェイトモデル（例：Qwen3、Kimi-K2、GLM-4.5）の評価では、ほとんどのLLMエージェントが単純なバイ・アンド・ホールドのベースラインを上回ることは難しいものの、いくつかのモデルはより高いリターンを提供し、リスクをより効果的に管理する可能性を示している。これらの発見は、LLMを活用した金融エージェントの開発における課題と機会の両方を浮き彫りにしており、静的な金融知識タスクで優れていることが必ずしも成功した取引戦略に繋がらないことを示している。我々はStockBenchをオープンソースリソースとして公開し、再現性を支援し、この領域の将来の研究を推進することを目指す。

English

Large language models (LLMs) have recently demonstrated strong capabilities as autonomous agents, showing promise in reasoning, tool use, and sequential decision-making. While prior benchmarks have evaluated LLM agents in domains such as software engineering and scientific discovery, the finance domain remains underexplored, despite its direct relevance to economic value and high-stakes decision-making. Existing financial benchmarks primarily test static knowledge through question answering, but they fall short of capturing the dynamic and iterative nature of trading. To address this gap, we introduce StockBench, a contamination-free benchmark designed to evaluate LLM agents in realistic, multi-month stock trading environments. Agents receive daily market signals -- including prices, fundamentals, and news -- and must make sequential buy, sell, or hold decisions. Performance is assessed using financial metrics such as cumulative return, maximum drawdown, and the Sortino ratio. Our evaluation of state-of-the-art proprietary (e.g., GPT-5, Claude-4) and open-weight (e.g., Qwen3, Kimi-K2, GLM-4.5) models shows that while most LLM agents struggle to outperform the simple buy-and-hold baseline, several models demonstrate the potential to deliver higher returns and manage risk more effectively. These findings highlight both the challenges and opportunities in developing LLM-powered financial agents, showing that excelling at static financial knowledge tasks does not necessarily translate into successful trading strategies. We release StockBench as an open-source resource to support reproducibility and advance future research in this domain.

StockBench: LLMエージェントは現実世界の市場で株式を利益的に取引できるか？

StockBench: Can LLM Agents Trade Stocks Profitably In Real-world Markets?

要旨

Support