에이전트 트레이스로부터의 오토마타: 실패 및 다음 단계 예측

초록

LLM 기반 에이전트는 다단계 작업을 수행하지만, 그 행동 구조는 여전히 불투명하다. 길고 구조화되지 않은 트레이스는 배포 시 요구되는 안전 감사와 런타임 모니터링을 어렵게 만든다. 기존 접근법은 트레이스 단위 또는 성공 사례에만 초점을 맞추어, 다음 단계 예측과 실패 예측을 연결하는 실행 간 토폴로지를 놓친다. 이러한 공유 구조를 복원하기 위해, 우리는 전체 트레이스 말뭉치를 단일하고 간결한 유한 상태 기계(FSM)로 압축하며, 이는 달리 예측 불가능한 LLM 에이전트 행동의 구조적 기반으로 작동한다. 12개의 공개 데이터셋에 걸쳐, 해당 FSM은 간결하며(7-43개 상태), 보류된 데이터를 >=0.997의 적합도로 재생하고, 분할 간 거의 동일한 토폴로지를 보이며, 수 밀리초 내에 구축된다. 이러한 기반은 두 가지 예측 목표를 모두 해결한다. 다음 단계 예측의 경우, FSM 상태 컨텍스트는 모든 실제 정답 일치 데이터셋에서 Agent Workflow Memory보다 우수한 성능을 보인다. 실패 예측의 경우, 상태별 행동 특징은 보류된 AUROC 최대 0.94에 도달하며, 온라인 모니터는 부분 트레이스만으로도 실패 실행을 통과 실행보다 높게 순위화하여 완료 전에 조기 중단을 유발한다. 따라서 행동 토폴로지는 LLM보다 배포 환경에 의해 더 크게 형성되는 것으로 보이며, 이는 안전 감사와 런타임 모니터링을 위한 모델 비의존적 구조적 원시 요소를 제공한다.

English

LLM-based agents execute multi-step tasks, but their behavioral structure remains opaque: long unstructured traces resist the safety auditing and runtime monitoring that deployment requires. Existing approaches operate per-trace or success-only, so they miss the cross-run topology that links next-step and failure prediction. To recover that shared structure, we collapse an entire trace corpus into a single, compact finite-state machine (FSM) that serves as a structural substrate for the otherwise unpredictable behavior of LLM agents. Across twelve public datasets, the FSMs are compact (7-43 states), replay held-out data at >=0.997 fitness with near-identical topology across splits, and build in milliseconds. This substrate addresses both prediction goals. For next-step prediction, FSM-state context outperforms Agent Workflow Memory on every ground-truth-matched dataset. For failure prediction, per-state behavioral features reach held-out AUROC up to 0.94, and an online monitor ranks failing runs above passing ones from a partial trace, triggering early stopping well before completion. Behavioral topology thus appears shaped more by the deployment harness than by the LLM, providing a model-agnostic structural primitive for safety auditing and runtime monitoring.