Jenseits der endgültigen Antworten: Prüfung von Trajektorien-Halluzinationen in Multi-Agenten-Industrieworkflows

Zusammenfassung

Große Sprachmodelle (LLMs) werden zunehmend als autonome Agenten eingesetzt, die über mehrere Schritte hinweg denken, Werkzeuge verwenden und handeln. Doch die meisten Halluzinations-Benchmarks bewerten immer noch nur die endgültige Ausgabe und übersehen Fehler, die in den Zwischenschritten von Gedanke–Aktion–Beobachtung entstehen. Wir präsentieren Trajel, einen Datensatz und Evaluierungsrahmen zur Überprüfung von Halluzinationen auf Trajektorienebene in mehrstufigen industriellen Arbeitsabläufen mit mehreren Agenten. Trajel führt eine Fünf-Typen-Taxonomie von Halluzinationen ein (faktisch, referenziell, logisch, prozedural und umfangsbasiert) über Experten-annotierte Agentenspuren aus AssetOpsBench. Wir bewerten überwachte Erkennungsmodelle auf den Ebenen von Teilaufgaben, Trajektorien und Langzeitkontext. Unsere Ergebnisse zeigen, dass die häufigsten Fehlermodi von bestehenden Benchmarks übersehen werden, dass fast die Hälfte der halluzinierten Trajektorien mehrere Typen gleichzeitig umfasst und dass automatisierte Detektoren mit hoher binärer Genauigkeit die subtilsten Typen immer noch falsch klassifizieren. Eine trajektorienbewusste Erkennung übertrifft die standardmäßige Post-hoc-Verifikation deutlich, was eine taxonomiebasierte Evaluierung für einen sichereren Einsatz von Agenten notwendig macht.

English

Large Language Models (LLMs) are increasingly deployed as autonomous agents that reason, use tools, and act over multiple steps. Yet most hallucination benchmarks still evaluate only the final output, missing failures that originate in intermediate Thought-Action-Observation steps. We present Trajel, a dataset and evaluation framework for auditing trajectory-level hallucinations in multi-agent industrial workflows. Trajel introduces a five-type hallucination taxonomy (factual, referential, logical, procedural, and scope-based) over expert-annotated agent traces from AssetOpsBench. We benchmark supervised detection models at the subtask, trajectory, and long-context levels. Our results show that the most common failure modes are missed by existing benchmarks, that nearly half of hallucinated trajectories involve multiple types at once, and that automated detectors with high binary accuracy still misclassify the subtlest types. Trajectory-aware detection significantly outperforms standard post-hoc verification, making taxonomy-grounded evaluation necessary for safer agentic deployment.