ハンドオフ税：LLMエージェントにおける非ネイティブ軌道の継続

要旨

コーディングエージェントは、数十回のモデル呼び出し、ツール使用、コード編集に及ぶ長時間実行タスクを遂行する。こうした実行が進むにつれて、ユーザーは現実的なコストと品質のトレードオフに直面する。すなわち、安価なモデルが苦戦する場合により強力なモデルへエスカレーションするか、難しい推論が完了した時点でダウンシフトするかである。切り替えのたびに、受け手側のモデルは別のモデルによって生成された非ネイティブな軌跡（trajectory）を継続しなければならない。我々は、このハンドオフが品質とコストにどのように影響するか、また受け手が引き継ぐ軌跡情報を変化させた場合に結果がどう変わるかを研究する。ClaudeおよびGPTファミリーの低コスト・低能力（LC）モデルと高コスト・高能力（HC）モデルのペアを用いて、ハンドオフの方向、タイミング、インターフェースを変化させ、完全な軌跡転送、圧縮、そしてリポジトリ状態を保持したままの軌跡削除を比較する。両方のモデルファミリーにわたり、完全な軌跡によるエスカレーションはLCからHCへの品質ギャップの半分未満しか回復せず、しかも相当なコスト増加を伴う。我々はこのコスト品質ペナルティを「ハンドオフ税」と呼ぶ。対照的に、ダウンシフトはコストと品質の面で有利な点を提供する。興味深いことに、好ましいインターフェースも方向によって逆転する。すなわち、LCモデルの軌跡情報を減らすとエスカレーションの品質が向上する一方、HCモデルの軌跡を削除するとダウンシフトの品質が低下する。

English

Coding agents perform long-running tasks spanning dozens of model calls, tool uses, and code edits. As these runs unfold, users face a practical cost-quality trade-off: escalating to a stronger model when a cheaper one struggles, or downshifting once the hard reasoning is complete. Each switch requires the receiver to continue a non-native trajectory produced by another model. We study how this handoff affects quality and cost, and how varying the trajectory information inherited by the receiver changes the outcome. Using pairs of low-cost, low-capability (LC) and high-cost, high-capability (HC) models from the Claude and GPT families, we vary handoff direction, timing, and interface, comparing full-trajectory transfer, compaction, and trajectory removal while preserving the repository state. Across both model families, full-trajectory escalation recovers less than half of the LC-to-HC quality gap while incurring a substantial cost premium. We term this cost-quality penalty the handoff tax. By contrast, downshift offers a favorable cost-quality point. Interestingly, the preferred interface also reverses with direction: reducing LC-model trajectory information improves escalation quality, whereas removing the HC-model trajectory reduces downshift quality.