グラウンデッド・セオリーを用いた大規模エージェント行動分析

要旨

エージェントの行動を理解するには、数千もの軌跡にまで拡張でき、事前に構築された分類器では対処しきれない、長くしばしば馴染みのないタスクに現れる新たなパターンを浮き彫りにする手法が必要である。本稿では、社会科学における60年の歴史を持つ質的手法であり、明確な理論的飽和基準と、データから理論に至る監査可能な証跡を備えたグラウンデッド・セオリーを、エージェントの軌跡分析に導入することを提案する。我々は、グラウンデッド・セオリーに基づく自動トレース分析であるAutoTraceGT（Automated Trace analysis through Grounded Theory）を提案する。これは、エージェントの軌跡に対するグラウンデッド・セオリーの適用を自動化する初のマルチエージェントパイプラインである。AutoTraceGTは、理論的飽和に達するまでオープン・コーディング、アクシャル・コーディング、理論的コーディングを反復実行し、各タスクに特化した行動分類体系を生成する。6つの軌跡コーパスにわたって、AutoTraceGTが生成するコードブックは、人間がアノテーションした分類体系に含まれる障害モードの73〜91％を検出し、さらにその分類体系では見落とされていた追加のパターンを表面化する。創出された理論的ナラティブは、従来の専門家による記述と整合する。コードブックを演繹的特徴空間として用いると、下流の障害予測において、ゼロショットおよびフューショットのLLMベースラインを上回る性能を示す。これらの結果は、グラウンデッド・セオリーが、エージェントが実際に行う行動を研究するML研究者やエージェント開発者にとって、スケーラブルな分析ツールを提供することを示唆している。

English

Understanding agent behavior requires methods that scale to thousands of trajectories and surface new patterns in long, often unfamiliar tasks where pre-built classifiers fall short. We propose to bring grounded theory into agent trajectory analysis: a six-decade-old qualitative method from the social sciences, with a principled saturation criterion and an auditable trail from data to theory. We propose AutoTraceGT (Automated Trace analysis through Grounded Theory), the first multi-agent pipeline that automates grounded theory on agent trajectories. It iteratively performs open, axial, and theoretical coding until saturation, producing a behavioral taxonomy tailored to each task. Across six trajectory corpora, AutoTraceGT produces codebooks that recover 73-91 percent of the failure modes in human-annotated taxonomies and surface additional patterns that those taxonomies miss. The emergent theoretical narrative aligns with prior expert accounts. Used as a deductive feature space, the codebook outperforms zero-shot and few-shot LLM baselines on downstream failure prediction. These results suggest Grounded Theory offers a scalable analytic tool for ML researchers and agent developers studying what agents actually do.