핸드오프 비용: LLM 에이전트에서 비고유 궤적의 지속

초록

코딩 에이전트는 수십 회의 모델 호출, 도구 사용, 코드 편집에 걸친 장기 실행 작업을 수행한다. 이러한 실행이 진행됨에 따라 사용자는 실용적인 비용-품질 트레이드오프에 직면한다. 즉, 저비용 모델이 어려움을 겪을 때 더 강력한 모델로 상향 전환(에스컬레이션)하거나, 고난도 추론이 완료된 후 하향 전환하는 것이다. 각 전환은 수신 모델이 다른 모델이 생성한 궤적을 이어받아 계속 수행해야 함을 의미한다. 본 연구는 이러한 핸드오프가 품질과 비용에 미치는 영향과, 수신 모델이 상속받는 궤적 정보의 변화가 결과를 어떻게 달라지게 하는지를 분석한다. Claude 및 GPT 계열의 저비용·저성능(LC) 모델과 고비용·고성능(HC) 모델 쌍을 사용하여 핸드오프 방향, 시점, 인터페이스를 다양화하고, 전체 궤적 전달, 압축, 그리고 저장소 상태를 유지한 채 궤적을 제거하는 방식을 비교한다. 두 모델 계열 모두에서 전체 궤적 상향 전환은 LC에서 HC로의 품질 격차의 절반 미만만 회복하면서 상당한 비용 프리미엄을 초래한다. 우리는 이러한 비용-품질 패널티를 핸드오프 세금(handoff tax)이라고 명명한다. 반면, 하향 전환은 비용-품질 측면에서 유리한 지점을 제공한다. 흥미롭게도 선호되는 인터페이스 역시 방향에 따라 반전된다. LC 모델의 궤적 정보를 줄이면 상향 전환 품질이 향상되는 반면, HC 모델의 궤적을 제거하면 하향 전환 품질이 저하된다.

English

Coding agents perform long-running tasks spanning dozens of model calls, tool uses, and code edits. As these runs unfold, users face a practical cost-quality trade-off: escalating to a stronger model when a cheaper one struggles, or downshifting once the hard reasoning is complete. Each switch requires the receiver to continue a non-native trajectory produced by another model. We study how this handoff affects quality and cost, and how varying the trajectory information inherited by the receiver changes the outcome. Using pairs of low-cost, low-capability (LC) and high-cost, high-capability (HC) models from the Claude and GPT families, we vary handoff direction, timing, and interface, comparing full-trajectory transfer, compaction, and trajectory removal while preserving the repository state. Across both model families, full-trajectory escalation recovers less than half of the LC-to-HC quality gap while incurring a substantial cost premium. We term this cost-quality penalty the handoff tax. By contrast, downshift offers a favorable cost-quality point. Interestingly, the preferred interface also reverses with direction: reducing LC-model trajectory information improves escalation quality, whereas removing the HC-model trajectory reduces downshift quality.