スパースオートエンコーダからのモデル内部情報を用いたLLM事後学習データエンジニアリングの誘導

要旨

モデル内部には、大規模言語モデル（LLM）が訓練データを処理する方法に関する豊富な情報が符号化されている。しかし、訓練後のデータエンジニアリングは主に外部シグナルに依存しており、モデル内部に存在する豊富な内在的シグナルを無視している。本稿では、LLMの強化学習（RL）のためのデータエンジニアリングフレームワークであるSAERLを提案する。SAERLは、高度なメカニスティック解釈可能性ツールであるスパースオートエンコーダ（SAE）を用いて抽出されたモデル内部表現を活用し、多様性、難易度、品質という3つの内在的データ特性をモデル化する。各特性は具体的なデータエンジニアリング操作に基づいている。すなわち、バッチ多様性制御のための適度なバッチ混合を伴うSAE空間でのクラスタリング、簡単から難しいカリキュラム順序付けのための難易度プロキシ、データフィルタリングのための品質プローブである。SAERLは、ベースラインのGRPOと比較して平均精度を3.00%向上させ、Qwen2.5-Math-1.5Bにおいて20%少ない訓練ステップで目標精度に到達し、モデル規模やRLアルゴリズムを問わず一貫した改善を示す。実験結果は、SAEがモデルファミリや規模を越えて効果的に転移し、軽量で再利用可能なデータエンジニアリングツールとして機能することを示している。これらの結果は、モデル内部が訓練後のデータエンジニアリングにとって強力かつ実用的なシグナル源であることを実証している。

English

Model internals encode rich information about how a large language model (LLM) processes its training data; however, post-training data engineering largely relies on external signals and ignores rich intrinsic signals lying in model internals. We propose SAERL, a data engineering framework for LLM reinforcement learning (RL). It models three intrinsic data properties: diversity, difficulty, and quality, using model internals extracted with Sparse Autoencoder (SAE), an advanced mechanistic interpretability tool. Each property grounds a concrete data engineering operation: SAE-space clustering with moderate batch mixing for batch diversity control, a difficulty proxy for easy-to-hard curriculum ordering, and a quality probe for data filtering. SAERL improves average accuracy by 3.00% over vanilla GRPO and reaches target accuracy with 20% fewer training steps on Qwen2.5-Math-1.5B, with consistent gains across model scales and RL algorithms. Experiments show that SAE transfers effectively across model families and scales, serving as a lightweight and reusable data engineering tool. These results demonstrate that model internals are a powerful and practical source of signals for post-training data engineering.