오픈 가중치 LLM의 제약 비용: 구조화된 출력 제약 조건 하에서의 도구 호출 억제에 관한 경험적 연구

초록

도구 호출과 구조화된 출력은 현대 에이전트 시스템의 두 가지 핵심 기능이지만, 이들이 결합되어 배포된 조건에서 상호작용하는 방식은 충분히 이해되지 않고 있다. 본 논문은 실제 운영 중인 에이전트 시스템에서 관찰된 재현 가능한 현상을 보고한다: 도구 호출과 JSON 스키마 제약이 동시에 활성화될 때, 여러 오픈 가중치 모델이 높은 스키마 준수율을 유지하면서도 도구 호출을 중단하는 것이다. 우리는 이러한 행동을 **도구 억제(Tool Suppression)**라고 명명한다. 여러 모델군과 배포 설정에 걸친 통제 실험을 통해, 결합 제약 조건 하에서 도구 억제가 일관되게 재현됨을 확인한 반면, 각각을 독립적으로 평가했을 때는 도구 실행과 스키마 준수가 정상적으로 작동했다. 추가 분석 결과, JSON 스키마 제약이 문법 기반 토큰 마스크로 컴파일되어 디코딩 과정에서 도구 호출 토큰에 접근할 수 없게 되는 것으로 밝혀졌으며, 이는 관찰된 행동에 대한 구현 수준의 설명을 제공한다. 이 현상을 해석하기 위해 우리는 **제약 우선순위 역전(Constraint Priority Inversion, CPI)** 가설을 정식화한다. 이 가설은 다중 동시 제약 조건 하에서 스키마 충족이 행동 선택 과정을 지배할 수 있음을 시사한다. 우리는 CPI를 검증된 내부 메커니즘이라기보다는 관찰된 증거와 일관된 행동 가설로 제시한다. 이 문제를 완화하기 위해, 우리는 **투명한 2패스 실행(Transparent Two-Pass Execution)**을 제안한다. 이는 도구 실행과 스키마 제약을 따르는 응답 생성을 분리하는 추론 시점 전략이다. 실험 결과, 이 접근법이 모델 재학습 없이도 구조화된 출력을 보장하면서 도구 호출을 복원함을 보여준다. 이러한 발견은 도구 사용과 구조화된 출력을 개별적으로 평가할 경우 운영 중인 에이전트 시스템에서 중요한 신뢰성 문제를 간과할 수 있음을 시사한다. 코드, 데이터 및 문서는 https://github.com/Fzsama/Constrain-Tax-26-06.git 에서 공개될 예정이다.

English

Tool Calling and Structured Output are two core capabilities of modern Agent systems, yet their interaction under joint deployment conditions remains insufficiently understood. This paper reports a reproducible phenomenon observed in a production Agent system: when Tool Calling and JSON Schema constraints are simultaneously enabled, multiple open-weight models cease invoking tools despite maintaining high schema compliance. We refer to this behavior as Tool Suppression. Through controlled experiments across multiple model families and deployment settings, we consistently reproduce Tool Suppression under joint constraints, while tool execution and schema compliance remain functional when evaluated independently. Further analysis reveals that JSON Schema constraints are compiled into grammar-based token masks, causing tool-call tokens to become unreachable during decoding. This provides an implementation-level explanation for the observed behavior. To interpret the phenomenon, we formulate the Constraint Priority Inversion (CPI) hypothesis, which suggests that schema satisfaction may dominate action-selection behavior under multiple simultaneous constraints. We present CPI as a behavioral hypothesis consistent with the observed evidence rather than a verified internal mechanism. To mitigate the problem, we propose Transparent Two-Pass Execution, an inference-time strategy that decouples tool execution from schema-constrained response generation. Experimental results show that this approach restores tool invocation while preserving structured output guarantees without requiring model retraining. These findings suggest that evaluating tool use and structured output separately may overlook important reliability issues in production Agent systems. Code, data, and docs will be released at https://github.com/Fzsama/Constrain-Tax-26-06.git.