S3Gym：LLMは自己テストと自己評価を自己改善へと転換できるか？

要旨

大規模言語モデル（LLM）はますます外部環境と相互作用し、相当量の行動経験を蓄積している。しかし、既存のエージェントベンチマークの大半は、LLMを固定方策として評価している。そのため、エージェントが自身の行動を能動的にテストし、結果として得られた経験を判定し、その経験を将来の意思決定の改善に利用できるかは、依然として不明である。本稿では、自己テスト（Self-Testing）、自己判定（Self-Judging）、自己改善（Self-Improvement）という三つの相互に関連する能力を通じてLLMの自己改善を評価するインタラクティブベンチマークS^3Gymを紹介する。S^3Gymは、許容的な探索と厳格なホールドアウト評価を分離し、このプロトコルを、実行可能な環境検証器を備えた七つのテキストベースゲームに実装する。さらに、相互作用経験を取り込む三つの経路、すなわち履歴を直接利用するICL、スコア条件付きサマリーメモリ、パラメータ学習を評価する。実験により、自己改善は自動的でも一様でもないことが明らかになった。コンテキストレベルの経験は、一部のモデルとゲームの組み合わせで性能を向上させるが、最も効果的な経路はタスク構造に強く依存する。サマリーは、経験が再利用可能な戦略的ルールへと圧縮できる場合には有益である一方、成功が正確で状態依存的な情報に依存する場合には、生の履歴よりも劣ることが多い。パラメータ学習は一部のタスクで大きな改善をもたらすが、他のタスクでは不安定な改善や深刻な負の転移を示す。これらの知見は、成功した行動を認識するだけでは不十分であり、エージェントはフィードバックを実行可能かつ転移可能な方策へ変換しなければならないことを示している。S^3Gymは、このプロセスを診断し、相互作用経験を信頼できる自己改善へ変換することを妨げるボトルネックを特定するための統一的枠組みを提供する。

English

Large language models (LLMs) increasingly interact with external environments and accumulate substantial behavioral experience, yet existing agent benchmarks largely evaluate them as fixed policies. It therefore remains unclear whether an agent can actively test its behavior, judge the resulting experience, and use that experience to improve future decisions. We introduce S\textsuperscript{3Gym}, an interactive benchmark for evaluating LLM self-improvement through three coupled capabilities: Self-Testing, Self-Judging, and Self-Improvement. S^3Gym separates permissive exploration from strict held-out evaluation and instantiates this protocol in seven text-based games with executable environment verifiers. We evaluate three pathways for incorporating interaction experience: direct History ICL, score-conditioned Summary Memory, and parameter Training. Our experiments reveal that self-improvement is neither automatic nor uniform. Context-level experience improves performance for several model--game pairs, but the most effective pathway depends strongly on the task structure: summaries are beneficial when experience can be compressed into reusable strategic rules, yet often underperform raw history when success depends on precise, state-contingent information. Parameter training produces substantial gains on some tasks, but also exhibits unstable improvement and severe negative transfer on others. These findings show that recognizing successful actions is insufficient; agents must also transform feedback into executable and transferable policies. S^3Gym provides a unified framework for diagnosing this process and identifying the bottlenecks that prevent agents from translating interaction experience into reliable self-improvement.