Voorbij de eindantwoorden: audit van hallucinaties op trajectniveau in multi-agent industriële workflows

Samenvatting

Grote taalmodellen (LLM's) worden steeds vaker ingezet als autonome agenten die redeneren, hulpmiddelen gebruiken en in meerdere stappen handelen. Toch evalueren de meeste hallucinatiebenchmarks alleen de uiteindelijke output, waarbij fouten die ontstaan in tussenliggende Denk-Actie-Waarneming-stappen worden gemist. We presenteren Trajel, een dataset en evaluatiekader voor het auditen van hallucinaties op trajectniveau in multi-agent industriële workflows. Trajel introduceert een vijf-type hallucinatietaxonomie (feitelijk, referentieel, logisch, procedureel en reikwijdtegebaseerd) over door experts geannoteerde agentsporen uit AssetOpsBench. We benchmarken gesuperviseerde detectiemodellen op subtaken-, traject- en lange-contextniveau. Onze resultaten tonen aan dat de meest voorkomende faalwijzen worden gemist door bestaande benchmarks, dat bijna de helft van de gehallucineerde trajecten meerdere typen tegelijk omvat, en dat geautomatiseerde detectoren met hoge binaire nauwkeurigheid nog steeds de subtielste typen verkeerd classificeren. Trajectbewuste detectie presteert aanzienlijk beter dan standaard post-hoc verificatie, waardoor taxonomiegebaseerde evaluatie noodzakelijk is voor een veiligere inzet van agenten.

English

Large Language Models (LLMs) are increasingly deployed as autonomous agents that reason, use tools, and act over multiple steps. Yet most hallucination benchmarks still evaluate only the final output, missing failures that originate in intermediate Thought-Action-Observation steps. We present Trajel, a dataset and evaluation framework for auditing trajectory-level hallucinations in multi-agent industrial workflows. Trajel introduces a five-type hallucination taxonomy (factual, referential, logical, procedural, and scope-based) over expert-annotated agent traces from AssetOpsBench. We benchmark supervised detection models at the subtask, trajectory, and long-context levels. Our results show that the most common failure modes are missed by existing benchmarks, that nearly half of hallucinated trajectories involve multiple types at once, and that automated detectors with high binary accuracy still misclassify the subtlest types. Trajectory-aware detection significantly outperforms standard post-hoc verification, making taxonomy-grounded evaluation necessary for safer agentic deployment.