SAEScientist-Bench：AIエージェントはSAE解釈可能性研究を自律的に遂行できるか？

要旨

再帰的自己改善（RSI）の研究は主にモデル訓練パイプラインを自動化してきたが、信頼できる自律的開発には欠けている柱がある。それは、モデルが何を学習するかを理解し、安全なアラインメントを確保するための事後モニタリングと監査である。このギャップを埋めるにはメカニスティック解釈可能性ツールが不可欠であり、中でもスパースオートエンコーダ（SAE）は、モデルの検査とステアリングのために解釈可能な特徴を分離する基盤として機能する。本論文では、AIエージェントがSAEツールを活用し、自律的なメカニズム発見を行う科学者として振る舞えるかを評価するSAEScientist-Benchを導入する。対象概念が与えられると、エージェントは対照的プローブを設計し、Gemma-2-9B-IT内の131K以上の特徴からなるGemma Scope辞書を探索して最適な特徴を発見する。これは、Neuronpediaに基づいて整備された専門家参照特徴に対し、活性化ランク、対照テキスト上の概念選択性、因果的ステアリングにわたって評価される。10のエージェント構成と20のタスクにわたり、フロンティアエージェントは真の発見能力を示し、異なる評価次元で優位に立つものの、専門家ベースラインには大きく及ばない。対象概念を対照コントロールから分離する点では専門家水準に近づくが、因果的生成ステアリングでは大幅に遅れをとる。さらなる分析により、エージェントは偽の候補を排除するための対照を設計できるものの、実験的測定を頻繁に誤解釈することが明らかになる。これらの結果は、実験的モデル理解が閉ループ型の自律的AI研究開発にとって測定可能な能力であることを確立する。コードはhttps://github.com/Trae1ounG/SAEScientistで公開されている。

English

While research on recursive self-improvement (RSI) has predominantly automated model training pipelines, reliable autonomous development demands a missing pillar: post-hoc monitoring and auditing to understand what models learn and ensure safe alignment. Mechanistic interpretability tools are essential to bridge this gap, among which Sparse Autoencoders (SAEs) serve as a cornerstone by isolating interpretable features for model inspection and steering. In this paper, we introduce SAEScientist-Bench to evaluate whether AI agents can act as scientists utilizing SAE tools for autonomous mechanistic discovery. Given a target concept, an agent designs contrastive probes and navigates a Gemma Scope dictionary of 131K+ features in Gemma-2-9B-IT to discover the optimal feature, evaluated against curated expert reference features anchored on Neuronpedia across activation rank, concept selectivity on contrastive texts, and causal steering. Across 10 agent configurations and 20 tasks, frontier agents demonstrate genuine discovery capabilities and lead different evaluation dimensions, but remain well behind the expert baseline, approaching expert levels on separating target concepts from contrastive controls while lagging substantially in causal generation steering. Further analysis reveals that although agents can design contrasts to rule out spurious candidates, they frequently misinterpret experimental measurements. These results establish experimental model understanding as a measurable capability for closed-loop autonomous AI R&D. Our code is available at https://github.com/Trae1ounG/SAEScientist.