Обучение генеративной метамодели активаций больших языковых моделей

Learning a Generative Meta-Model of LLM Activations

February 6, 2026

Авторы: Grace Luo, Jiahai Feng, Trevor Darrell, Alec Radford, Jacob Steinhardt

cs.AI

Аннотация

Существующие подходы к анализу активаций нейронных сетей, такие как метод главных компонент (PCA) и разреженные автоэнкодеры, опираются на строгие структурные предположения. Генеративные модели предлагают альтернативу: они способны выявлять структуру без подобных предположений и выступают в качестве априорных распределений, повышающих точность интервенций. Мы исследуем это направление, обучая диффузионные модели на одном миллиарде активаций резидуального потока, создавая «метамодели», которые изучают распределение внутренних состояний сети. Мы обнаружили, что потери диффузионной модели плавно уменьшаются с ростом вычислительных затрат и надежно предсказывают полезность для последующих задач. В частности, применение априорного распределения, изученного метамоделью, для управляющих интервенций улучшает беглость речи, причем выигрыш увеличивается по мере снижения потерь. Более того, нейроны метамодели все больше изолируют концепции в отдельных единицах, с показателями разреженного probing, которые масштабируются по мере уменьшения потерь. Эти результаты позволяют предположить, что генеративные метамодели предлагают масштабируемый путь к интерпретируемости без ограничительных структурных предположений. Страница проекта: https://generative-latent-prior.github.io.

English

Existing approaches for analyzing neural network activations, such as PCA and sparse autoencoders, rely on strong structural assumptions. Generative models offer an alternative: they can uncover structure without such assumptions and act as priors that improve intervention fidelity. We explore this direction by training diffusion models on one billion residual stream activations, creating "meta-models" that learn the distribution of a network's internal states. We find that diffusion loss decreases smoothly with compute and reliably predicts downstream utility. In particular, applying the meta-model's learned prior to steering interventions improves fluency, with larger gains as loss decreases. Moreover, the meta-model's neurons increasingly isolate concepts into individual units, with sparse probing scores that scale as loss decreases. These results suggest generative meta-models offer a scalable path toward interpretability without restrictive structural assumptions. Project page: https://generative-latent-prior.github.io.