Помимо финальных ответов: аудит галлюцинаций на уровне траекторий в многоагентных промышленных рабочих процессах

Аннотация

Большие языковые модели (LLM) все чаще развертываются в качестве автономных агентов, которые рассуждают, используют инструменты и действуют на протяжении нескольких шагов. Однако большинство эталонов для оценки галлюцинаций по-прежнему анализируют только конечный вывод, упуская сбои, берущие начало на промежуточных шагах «Мысль-Действие-Наблюдение». Мы представляем Trajel — набор данных и оценочную структуру для аудита галлюцинаций на уровне траекторий в многоагентных промышленных рабочих процессах. Trajel вводит таксономию галлюцинаций из пяти типов (фактологическая, референциальная, логическая, процедурная и основанная на области действия), построенную на размеченных экспертами трассах агентов из AssetOpsBench. Мы проводим эталонное тестирование моделей контролируемого обнаружения на уровнях подзадач, траекторий и длинного контекста. Наши результаты показывают, что наиболее распространенные режимы отказов упускаются существующими эталонами, что почти половина галлюцинирующих траекторий включает сразу несколько типов, и что автоматические детекторы с высокой бинарной точностью по-прежнему неправильно классифицируют самые тонкие типы. Обнаружение с учетом траектории значительно превосходит стандартную пост-хок верификацию, что делает необходимой оценку на основе таксономии для более безопасного агентного развертывания.

English

Large Language Models (LLMs) are increasingly deployed as autonomous agents that reason, use tools, and act over multiple steps. Yet most hallucination benchmarks still evaluate only the final output, missing failures that originate in intermediate Thought-Action-Observation steps. We present Trajel, a dataset and evaluation framework for auditing trajectory-level hallucinations in multi-agent industrial workflows. Trajel introduces a five-type hallucination taxonomy (factual, referential, logical, procedural, and scope-based) over expert-annotated agent traces from AssetOpsBench. We benchmark supervised detection models at the subtask, trajectory, and long-context levels. Our results show that the most common failure modes are missed by existing benchmarks, that nearly half of hallucinated trajectories involve multiple types at once, and that automated detectors with high binary accuracy still misclassify the subtlest types. Trajectory-aware detection significantly outperforms standard post-hoc verification, making taxonomy-grounded evaluation necessary for safer agentic deployment.