Más allá de las respuestas finales: Auditoría de alucinaciones a nivel de trayectoria en flujos de trabajo industriales multiagente

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) se implementan cada vez más como agentes autónomos que razonan, utilizan herramientas y actúan a lo largo de múltiples pasos. Sin embargo, la mayoría de los puntos de referencia sobre alucinaciones todavía evalúan únicamente la salida final, pasando por alto fallos que se originan en los pasos intermedios de Pensamiento-Acción-Observación. Presentamos Trajel, un conjunto de datos y un marco de evaluación para auditar alucinaciones a nivel de trayectoria en flujos de trabajo industriales multiagente. Trajel introduce una taxonomía de cinco tipos de alucinaciones (fácticas, referenciales, lógicas, procedimentales y basadas en el alcance) a partir de trazas de agentes anotadas por expertos de AssetOpsBench. Evaluamos modelos de detección supervisada a niveles de subtarea, trayectoria y contexto largo. Nuestros resultados muestran que los modos de fallo más comunes son ignorados por los puntos de referencia existentes, que casi la mitad de las trayectorias alucinadas implican múltiples tipos simultáneamente, y que los detectores automatizados con alta precisión binaria aún clasifican erróneamente los tipos más sutiles. La detección consciente de trayectorias supera significativamente la verificación posterior estándar, lo que hace necesaria una evaluación fundamentada en la taxonomía para un despliegue de agentes más seguro.

English

Large Language Models (LLMs) are increasingly deployed as autonomous agents that reason, use tools, and act over multiple steps. Yet most hallucination benchmarks still evaluate only the final output, missing failures that originate in intermediate Thought-Action-Observation steps. We present Trajel, a dataset and evaluation framework for auditing trajectory-level hallucinations in multi-agent industrial workflows. Trajel introduces a five-type hallucination taxonomy (factual, referential, logical, procedural, and scope-based) over expert-annotated agent traces from AssetOpsBench. We benchmark supervised detection models at the subtask, trajectory, and long-context levels. Our results show that the most common failure modes are missed by existing benchmarks, that nearly half of hallucinated trajectories involve multiple types at once, and that automated detectors with high binary accuracy still misclassify the subtlest types. Trajectory-aware detection significantly outperforms standard post-hoc verification, making taxonomy-grounded evaluation necessary for safer agentic deployment.