無知か無能か？LLMエージェントのための知識ゲート型・検証可能タスクの構築

要旨

専門エージェントのタスクは、公開コーパスには存在しない規約に依存することが多い。しかしベンチマークでは、エージェントがそうした規約にアクセスできるかどうかが制御されることはほとんどない。本稿では、タスク指示と、非公開の規約・参照表・ユーティリティ演算子を含むコンパクトなアーティファクトとを分離する、知識ゲート付きタスク構築プロトコルを提案する。構築時の来歴、アーティファクト提供条件と非提供条件の間でバイト単位で同一のタスク指示、漏洩監査、実行可能なウィットネスにより、アーティファクトへの依存性が明示的かつ検証可能になる。15件のキャリブレーションタスクでは、あるフロンティアエージェント構成がアーティファクト付きで68.0%の合格率を達成したのに対し、アーティファクトなしでは0%となった。また、あるタスクでは、もっともらしいが誤ったアーティファクトでも5回の試行すべてで0%となった。決定性ソルバーとルールコーパスは構造化タスクに正確なグラウンドトゥルースを提供する一方、名前付き基準ごとのルーブリックは、単一の実行可能オラクルでは検証できない出力を評価する。エージェント構成に依存するキャリブレーションスクリーニングでは、5試行の経験的知識ゲートスクリーニングを満たす7つのタスクが保持された。これらの実験は構築プロトコルの挙動を検証するものであり、保持されたタスクがポストトレーニングを改善することを実証するものではない。タスクスイートの一部と支援ツールは、https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction で公開している。

English

Professional agent tasks often depend on conventions that are absent from public corpora, yet benchmarks rarely control whether an agent has access to those conventions. We introduce a knowledge-gated task-construction protocol that separates a task instruction from a compact artefact containing private conventions, reference tables, and utility operators. Construction-time provenance, byte-identical task instructions across the provided- and withheld-artefact conditions, leak audits, and executable witnesses make dependence on the artefact explicit and testable. Across fifteen calibration tasks, one frontier agent configuration achieves a 68.0% pass rate with the artefact and 0% without it; on one task, a plausible but incorrect artefact also yields 0% across five trials. Deterministic solvers and rule corpora provide exact ground truth for structured tasks, while named criterion-level rubrics support outputs that cannot be checked by a single executable oracle. A configuration-relative calibration screen retains seven tasks satisfying our five-trial empirical knowledge-gating screen. These experiments validate the behavior of the construction protocol; they do not establish that the retained tasks improve post-training. We publicly release part of the task suite and supporting tooling at https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction.