最終回答を超えて：マルチエージェント産業ワークフローにおける軌跡レベルの幻覚の監査

要旨

大規模言語モデル（LLMs）は、推論、ツールの使用、複数ステップにわたる行動を行う自律エージェントとしてますます展開されている。しかし、ほとんどの幻覚（ハルシネーション）ベンチマークは依然として最終出力のみを評価しており、中間の思考・行動・観察（Thought-Action-Observation）ステップに起因する失敗を見逃している。本論文では、マルチエージェント産業ワークフローにおける軌跡レベルの幻覚を監査するためのデータセットおよび評価フレームワークであるTrajel（トラジェル）を提案する。Trajelは、AssetOpsBench（アセットオプスベンチ）からの専門家注釈付きエージェントトレースに対して、5種類の幻覚分類法（事実的、指示的、論理的、手続き的、範囲ベース）を導入する。我々は、サブタスク、軌跡、長文脈の各レベルで教師あり検出モデルのベンチマーク評価を行う。我々の結果は、最も一般的な障害モードが既存のベンチマークでは見逃されていること、幻覚を含む軌跡のほぼ半数が一度に複数のタイプを含んでいること、そして高い二値精度を持つ自動検出器でも最も微妙なタイプを誤分類することを示している。軌跡を考慮した検出は標準的な事後検証を大幅に上回り、より安全なエージェント展開には分類法に基づいた評価が必要であることを示している。

English

Large Language Models (LLMs) are increasingly deployed as autonomous agents that reason, use tools, and act over multiple steps. Yet most hallucination benchmarks still evaluate only the final output, missing failures that originate in intermediate Thought-Action-Observation steps. We present Trajel, a dataset and evaluation framework for auditing trajectory-level hallucinations in multi-agent industrial workflows. Trajel introduces a five-type hallucination taxonomy (factual, referential, logical, procedural, and scope-based) over expert-annotated agent traces from AssetOpsBench. We benchmark supervised detection models at the subtask, trajectory, and long-context levels. Our results show that the most common failure modes are missed by existing benchmarks, that nearly half of hallucinated trajectories involve multiple types at once, and that automated detectors with high binary accuracy still misclassify the subtlest types. Trajectory-aware detection significantly outperforms standard post-hoc verification, making taxonomy-grounded evaluation necessary for safer agentic deployment.