LiteCoder-Terminal: 言語エージェント学習のための長期ターミナル環境のスケーリング

要旨

端末環境を習得するには、マルチステップ計画、フィードバックに基づく実行、動的状態適応が可能な言語エージェントが必要となる。しかし、現在このようなエージェントの訓練は、スクレイピングした外部リポジトリへの依存によってボトルネックが生じており、ドメインの多様性、環境の制御可能性、特定の能力不足への対応が制限されている。本稿では、ドメイン仕様から直接、実行可能かつ検証可能な端末訓練環境を自律的に生成する、ゼロ依存合成パイプライン「LiteCoder-Terminal-Gen」を紹介する。このフレームワークを用いて、10ドメインにわたる11,255件のエキスパート軌跡を含むLiteCoder-Terminal-SFTと、軌跡レベルの選好最適化のための602の検証可能な環境を備えたLiteCoder-Terminal-RLの2つの大規模リソースを構築した。QwenファミリーモデルをSFTデータセットで教師ありファインチューニングした結果、ベースモデルを大幅に上回るエージェントが得られた。特に、32B変種ではTerminal Bench 1.0、2.0、Proにおいてそれぞれ29.06%、18.54%、34.00%のpass@1を達成した。さらに、RL環境に直接マルチターン選好最適化（DMPO）を適用することで、さらなる性能向上が得られた。これらの結果は、完全に合成された実行可能な環境が、複雑な現実世界のコマンドラインワークフローを習得するための、スケーラブルで検証可能な監視信号を提供することを体系的に示している。

English

Mastering terminal environments requires language agents capable of multi-step planning, feedback-grounded execution, and dynamic state adaptation. However, training such agents is currently bottlenecked by a reliance on scraped external repositories, which limits domain diversity, environment controllability, and the targeting of specific capability deficits. We introduce LiteCoder-Terminal-Gen, a zero-dependency synthesis pipeline that autonomously generates executable and verifiable terminal training environments directly from domain specifications. Using this framework, we construct two large-scale resources: LiteCoder-Terminal-SFT, comprising 11,255 expert trajectories across 10 domains, and LiteCoder-Terminal-RL, featuring 602 verifiable environments for trajectory-level preference optimization. Supervised fine-tuning of Qwen-family models on our SFT dataset yields agents that significantly outperform their base counterparts. Notably, our 32B variant achieves 29.06%, 18.54%, and 34.00% pass@1 on Terminal Bench 1.0, 2.0, and Pro, respectively. Furthermore, applying Direct Multi-turn Preference Optimization (DMPO) on our RL environments yields additional performance gains. These results systematically demonstrate that fully synthetic, executable environments offer a scalable and verifiable supervision signal for mastering complex, real-world command-line workflows.