獲得・修復・保持：小規模モデル対話ゲームエージェントのための診断ガイド型ポストトレーニングレシピ

要旨

対話型ゲームは、静的ベンチマークが主に暗黙のままにしている能力を試す。すなわち、モデルがターンをまたいで状態を保持し、フィードバックを解釈し、変化する制約のもとで有効なアクションを選択する能力である。我々はこの設定を、20億パラメータのオープンウェイトモデルを用いたLM Playschool Challengeにおいて研究し、多くの失敗が広範な知識の欠如だけでなく、局所的な意思決定の失敗——繰り返される推測、不正な形式のアクション、モデルが直前に見たばかりのフィードバックへの違反——にも起因することを見いだした。これらの診断結果は、3つのステップからなる学習レシピを動機づける。すなわち、(1)教師ありファインチューニングによる広範なゲーム参加能力の獲得、(2)対象とする対話ゲームファミリー内での機械的に検証可能な失敗の修復をターン単位の選好ペアを用いて行うこと、(3)これらの対話ゲームを超えた一般的な能力の保持、である。公式の最終評価では、我々の提出システムは公開clemscoreを10.67から38.92へ、クローズドなドメイン内スコアを13.41から41.17へ改善しつつ、総合的な静的性能はほぼ維持した（ベースラインの44.24に対し44.14）。ドメイン外のclemscoreは7.88と低いままであり、最大の改善は対象ファミリーの未見のバリエーションに集中している。我々の結果は、広範なSFTがモデルの能力改善の大部分をもたらすこと、ターン単位の教師信号は失敗検出が精密な場合に有効であり、観察された転移は主にファミリー内に集中することを示唆している。

English

Interactive dialogue games test a capability that static benchmarks largely leave implicit: a model must carry state across turns, interpret feedback, and choose valid actions under changing constraints. We study this setting in the LM Playschool Challenge with a 2B open-weight model, and find that many failures are not only broad knowledge failures but also local decision failures: repeated guesses, malformed actions, and violations of feedback that the model has just seen. These diagnostics motivate a training recipe organized around three steps: acquire broad game participation through supervised fine-tuning, repair mechanically verifiable failures within one targeted dialogue-game family using turn-local preference pairs, and preserve general capabilities beyond these dialogue games. In the official final evaluation, our submission improves public clemscore from 10.67 to 38.92 and closed in-domain score from 13.41 to 41.17, while approximately preserving aggregate static performance (44.14 vs. 44.24 for the baseline). Out-of-domain clemscore remains low at 7.88, with the largest gains concentrated in unseen variants of the targeted family. Our results suggest that broad SFT brings most of the model's capability improvement; turn-local supervision can be effective when failure detection is precise, with observed transfer concentrated primarily within-family.