SAEScientist-Bench: AI 에이전트는 자율적인 SAE 해석가능성 연구를 수행할 수 있는가?

초록

재귀적 자기개선(RSI) 연구가 주로 모델 학습 파이프라인을 자동화해 왔지만, 신뢰할 수 있는 자율 개발에는 빠져 있는 핵심 축이 있다: 모델이 무엇을 학습하는지 이해하고 안전한 정렬을 보장하기 위한 사후 모니터링 및 감사이다. 기계적 해석 가능성 도구는 이 간극을 메우는 데 필수적이며, 그중 희소 오토인코더(SAE)는 모델 검사와 조향을 위한 해석 가능한 특징을 분리함으로써 초석 역할을 한다. 본 논문에서 우리는 AI 에이전트가 SAE 도구를 활용하여 자율적 메커니즘 발견을 수행하는 과학자로서 행동할 수 있는지 평가하기 위한 SAEScientist-Bench를 소개한다. 목표 개념이 주어지면, 에이전트는 대조 프로브를 설계하고 Gemma-2-9B-IT의 131K+ 특징으로 구성된 Gemma Scope 사전을 탐색하여 최적 특징을 발견하며, 이는 활성화 순위, 대조 텍스트에 대한 개념 선택성, 인과적 조향 전반에 걸쳐 Neuronpedia에 기반한 선별된 전문가 참조 특징과 비교하여 평가된다. 10개의 에이전트 구성과 20개의 과제에서 프런티어 에이전트는 진정한 발견 능력을 입증하고 서로 다른 평가 차원에서 앞서지만, 전문가 기준선에는 여전히 크게 뒤처진다. 이들은 대조 통제로부터 목표 개념을 분리하는 데서는 전문가 수준에 근접하지만, 인과적 생성 조향에서는 상당히 뒤처진다. 추가 분석은 에이전트가 허위 후보를 배제하기 위한 대조를 설계할 수 있음에도 실험 측정값을 자주 잘못 해석한다는 점을 보여준다. 이러한 결과는 실험적 모델 이해를 폐루프 자율 AI R&D를 위한 측정 가능한 역량으로 확립한다. 우리의 코드는 https://github.com/Trae1ounG/SAEScientist에서 확인할 수 있다.

English

While research on recursive self-improvement (RSI) has predominantly automated model training pipelines, reliable autonomous development demands a missing pillar: post-hoc monitoring and auditing to understand what models learn and ensure safe alignment. Mechanistic interpretability tools are essential to bridge this gap, among which Sparse Autoencoders (SAEs) serve as a cornerstone by isolating interpretable features for model inspection and steering. In this paper, we introduce SAEScientist-Bench to evaluate whether AI agents can act as scientists utilizing SAE tools for autonomous mechanistic discovery. Given a target concept, an agent designs contrastive probes and navigates a Gemma Scope dictionary of 131K+ features in Gemma-2-9B-IT to discover the optimal feature, evaluated against curated expert reference features anchored on Neuronpedia across activation rank, concept selectivity on contrastive texts, and causal steering. Across 10 agent configurations and 20 tasks, frontier agents demonstrate genuine discovery capabilities and lead different evaluation dimensions, but remain well behind the expert baseline, approaching expert levels on separating target concepts from contrastive controls while lagging substantially in causal generation steering. Further analysis reveals that although agents can design contrasts to rule out spurious candidates, they frequently misinterpret experimental measurements. These results establish experimental model understanding as a measurable capability for closed-loop autonomous AI R&D. Our code is available at https://github.com/Trae1ounG/SAEScientist.