DCAS：スキャフォールド横断的な計画立案を内面化するCLIエージェント・スキャフォールディングの分離

要旨

CLIベースのソフトウェアエンジニアリングエージェントは急速に成熟してきたが、オープンエコシステムは単一のトレーニング環境に収束している：オープンモデルのファインチューニングに使用される軌跡データセットは、ほぼ例外なくOpenHandsの下で収集されている。このデータでファインチューニングされたモデルはOpenHands上では良好なスコアを示すものの、トレーニング外の任意のスキャフォールドで展開すると大幅に性能が低下する。未トレーニングのベースモデルにはこの乖離が見られず、このギャップがファインチューニングに起因し、トレーニング用スキャフォールドの慣習に結びついていることを示している。本論文が区別する二つの意味において、構造上重要なスキャフォールド固有の挙動はプランニング構造であると我々は主張する：すなわち、明示的プランニングとは第一級の成果物として生成される実行前プランであり、暗黙的プランニングとはエージェントループ全体を通じて実行を形作る構造的慣習である。この仮説の下では、ギャップの解消には、プランニングを固定されたスキャフォールドの成果物から学習されたモデル能力へと移行させることが必要である。我々はDecoupling CLI Agent Scaffolding（DCAS）を導入する。これはバックエンド置換インターセプション層であり、スキャフォールドを変更することなく任意のCLIスキャフォールドと任意のバックエンドモデル間のAPIトラフィックをルーティングし、クロックスキャフォールド評価とプランニング対応軌跡収集を可能にする。DCASを用いた制御されたプランソース介入により、プランニング品質が影響力の大きい構成要素であり、観察されたクロックスキャフォールド低下を上回る改善が得られることが確認される。また、単一のスキャフォールドの下でDCASにより収集された少量のプランニング対応軌跡でファインチューニングされたモデルは、トレーニング外のスキャフォールド全体で一貫した改善を示し、プランニングの二つの意味はトレーニングデータにおいて経験的に分離可能である。

English

CLI-based software-engineering agents have matured rapidly, yet the open ecosystem has converged on a single training environment: trajectory datasets used to fine-tune open models are collected almost exclusively under OpenHands. Models fine-tuned on this data score well under OpenHands but degrade substantially when deployed under any non-training scaffold. Untrained base models do not show this divergence, indicating the gap is fine-tuning-induced and tied to the conventions of the training scaffold. We argue that a load-bearing scaffold-specific behavior is planning structure, in two senses this paper distinguishes: explicit planning, a pre-execution plan produced as a first-class artifact, and implicit planning, the structural conventions that shape execution throughout the agent loop. Under this hypothesis, closing the gap requires moving planning from a fixed scaffold artifact to a learned model capability. We introduce Decoupling CLI Agent Scaffolding (DCAS), a backend-substitution interception layer that routes API traffic between any CLI scaffold and any backend model without modifying the scaffold, enabling cross-scaffold evaluation and planning-aware trajectory collection. Using DCAS, a controlled plan-source intervention confirms planning quality is a high-leverage component, with gains exceeding the cross-scaffold drops we observe. A model fine-tuned on a small set of DCAS-collected planning-aware trajectories under a single scaffold gains consistently across non-training scaffolds, and the two senses of planning are empirically separable in training data.