暗黙知性――ユーザーが語らない部分でエージェントを評価する

要旨

現実世界におけるAIエージェントへの要求は、本質的に不完全にしか特定されていない。人間の自然なコミュニケーションは、話し手が聞き手に推論を期待する共有された文脈と暗黙の制約に依存している。現在のエージェント評価基準は明示的な指示への従順性をテストするが、アクセシビリティ要件、プライバシー境界、破滅的リスク、文脈的制約にわたる暗黙の要求をエージェントが推論できるかどうかを評価できていない。我々は、AIエージェントが単なるプロンプトへの対応を超えて、真の目標達成者となれるかをテストする評価フレームワーク「暗黙的知能（Implicit Intelligence）」と、人間可読なYAMLファイルで対話的世界が定義され言語モデルによってシミュレーションされる実行環境「Agent-as-a-World（AaW）」を提案する。本シナリオは、ユーザー要求の表面的な単純さ、正しい解決策に潜む複雑さ、環境探索を通じた制約の発見可能性を特徴とする。205のシナリオで16の先進的およびオープンウェイトモデルを評価した結果、最高性能のモデルでさえシナリオ合格率48.3%に留まり、文字通りの指示遵守と人間のような文脈推論の間の溝を埋めるには大幅な改善の余地があることが明らかになった。

English

Real-world requests to AI agents are fundamentally underspecified. Natural human communication relies on shared context and unstated constraints that speakers expect listeners to infer. Current agentic benchmarks test explicit instruction-following but fail to evaluate whether agents can reason about implicit requirements spanning accessibility needs, privacy boundaries, catastrophic risks, and contextual constraints. We present Implicit Intelligence, an evaluation framework testing whether AI agents can move beyond prompt-following to become genuine goal-fulfillers, paired with Agent-as-a-World (AaW), a harness where interactive worlds are defined in human-readable YAML files and simulated by language models. Our scenarios feature apparent simplicity in user requests, hidden complexity in correct solutions, and discoverability of constraints through environmental exploration. Evaluating 16 frontier and open-weight models across 205 scenarios, we find that even the best-performing model achieves only 48.3% scenario pass rate, revealing substantial room for improvement in bridging the gap between literal instruction-following and human-like contextual reasoning.

暗黙知性――ユーザーが語らない部分でエージェントを評価する

Implicit Intelligence -- Evaluating Agents on What Users Don't Say

要旨

Support