무지인가, 무능력인가? LLM 에이전트를 위한 지식 게이트형 검증 가능 태스크 구축

초록

전문 에이전트 과제는 공개 말뭉치에 존재하지 않는 관례에 의존하는 경우가 많지만, 벤치마크는 에이전트가 그러한 관례에 접근할 수 있는지 여부를 거의 통제하지 않는다. 본 연구는 과제 지시문과 비공개 관례, 참조 테이블, 유틸리티 연산자를 포함하는 간결한 아티팩트를 분리하는 지식-게이트 과제 구축 프로토콜을 도입한다. 구축 시점의 출처 정보, 아티팩트 제공 조건과 비제공 조건 간 바이트 단위 동일 과제 지시문, 누출 감사, 실행 가능한 증인은 아티팩트에 대한 의존성을 명시적이고 검증 가능하게 만든다. 15개 교정 과제에서 하나의 프론티어 에이전트 구성은 아티팩트가 있을 때 68.0%의 통과율을, 없을 때 0%의 통과율을 달성했다. 한 과제에서는 그럴듯하지만 부정확한 아티팩트도 5회 시행에서 0%의 결과를 산출했다. 결정적 솔버와 규칙 말뭉치는 구조화된 과제에 대한 정확한 실측 자료를 제공하며, 명명된 기준 수준 루브릭은 단일 실행 가능한 오라클로 검증할 수 없는 출력을 지원한다. 구성-상대적 교정 선별 기준은 5회 시행 경험적 지식-게이트 선별을 충족하는 7개 과제를 유지한다. 이러한 실험은 구축 프로토콜의 작동 방식을 검증하며, 유지된 과제가 사후 훈련을 개선한다는 것을 입증하지는 않는다. 과제 모음의 일부와 지원 도구를 https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction 에서 공개적으로 배포한다.

English

Professional agent tasks often depend on conventions that are absent from public corpora, yet benchmarks rarely control whether an agent has access to those conventions. We introduce a knowledge-gated task-construction protocol that separates a task instruction from a compact artefact containing private conventions, reference tables, and utility operators. Construction-time provenance, byte-identical task instructions across the provided- and withheld-artefact conditions, leak audits, and executable witnesses make dependence on the artefact explicit and testable. Across fifteen calibration tasks, one frontier agent configuration achieves a 68.0% pass rate with the artefact and 0% without it; on one task, a plausible but incorrect artefact also yields 0% across five trials. Deterministic solvers and rule corpora provide exact ground truth for structured tasks, while named criterion-level rubrics support outputs that cannot be checked by a single executable oracle. A configuration-relative calibration screen retains seven tasks satisfying our five-trial empirical knowledge-gating screen. These experiments validate the behavior of the construction protocol; they do not establish that the retained tasks improve post-training. We publicly release part of the task suite and supporting tooling at https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction.