대규모 에이전트 행동 분석을 위한 근거 이론 활용

초록

에이전트의 행동을 이해하려면 수천 개의 궤적을 분석할 수 있을 정도로 확장 가능하며, 사전 구축된 분류기가 한계를 보이는 길고 생소한 과제들에서 새로운 패턴을 발견할 수 있는 방법이 필요하다. 본 논문에서는 사회과학에서 60년의 역사를 지닌 질적 연구 방법인 근거이론(grounded theory)을 에이전트 궤적 분석에 도입할 것을 제안한다. 근거이론은 원칙에 기반한 포화 기준과 데이터에서 이론에 이르기까지의 감사 가능한 추적 기록을 갖추고 있다. 이를 위해, 에이전트 궤적에 근거이론을 자동으로 적용하는 최초의 다중 에이전트 파이프라인인 AutoTraceGT(Automated Trace analysis through Grounded Theory)를 제안한다. AutoTraceGT는 포화에 도달할 때까지 개방 코딩, 축 코딩, 이론 코딩을 반복적으로 수행하며, 각 과제에 맞춤화된 행동 분류 체계를 생성한다. 여섯 개의 궤적 말뭉치에 대한 실험에서 AutoTraceGT가 생성한 코드북은 사람이 주석한 분류 체계들에 포함된 실패 모드 중 73~91%를 포착했으며, 해당 분류 체계들이 놓친 추가 패턴도 드러냈다. 도출된 이론적 서사는 기존 전문가들의 설명과 부합했다. 코드북을 연역적 특징 공간으로 사용하면, 다운스트림 작업인 실패 예측에서 zero-shot 및 few-shot LLM 베이스라인보다 우수한 성능을 보였다. 이러한 결과는 근거이론이 에이전트의 실제 행동을 연구하는 머신러닝(ML) 연구자와 에이전트 개발자에게 확장 가능한 분석 도구를 제공함을 시사한다.

English

Understanding agent behavior requires methods that scale to thousands of trajectories and surface new patterns in long, often unfamiliar tasks where pre-built classifiers fall short. We propose to bring grounded theory into agent trajectory analysis: a six-decade-old qualitative method from the social sciences, with a principled saturation criterion and an auditable trail from data to theory. We propose AutoTraceGT (Automated Trace analysis through Grounded Theory), the first multi-agent pipeline that automates grounded theory on agent trajectories. It iteratively performs open, axial, and theoretical coding until saturation, producing a behavioral taxonomy tailored to each task. Across six trajectory corpora, AutoTraceGT produces codebooks that recover 73-91 percent of the failure modes in human-annotated taxonomies and surface additional patterns that those taxonomies miss. The emergent theoretical narrative aligns with prior expert accounts. Used as a deductive feature space, the codebook outperforms zero-shot and few-shot LLM baselines on downstream failure prediction. These results suggest Grounded Theory offers a scalable analytic tool for ML researchers and agent developers studying what agents actually do.