Apprentissage d'un méta-modèle génératif des activations des LLM

Learning a Generative Meta-Model of LLM Activations

February 6, 2026

Auteurs: Grace Luo, Jiahai Feng, Trevor Darrell, Alec Radford, Jacob Steinhardt

cs.AI

Résumé

Les approches existantes pour analyser les activations des réseaux neuronaux, telles que l'ACP et les autoencodeurs parcimonieux, reposent sur des hypothèses structurelles fortes. Les modèles génératifs offrent une alternative : ils peuvent découvrir des structures sans de telles hypothèses et agir comme des a priori qui améliorent la fidélité des interventions. Nous explorons cette direction en entraînant des modèles de diffusion sur un milliard d'activations du flux résiduel, créant des « méta-modèles » qui apprennent la distribution des états internes d'un réseau. Nous constatons que la perte de diffusion diminue régulièrement avec le calcul et prédit de manière fiable l'utilité en aval. En particulier, l'application de l'a priori appris par le méta-modèle aux interventions de pilotage améliore la fluidité, avec des gains plus importants à mesure que la perte diminue. De plus, les neurones du méta-modèle isolent progressivement les concepts dans des unités individuelles, avec des scores de sondage parcimonieux qui évoluent avec la diminution de la perte. Ces résultats suggèrent que les méta-modèles génératifs offrent une voie évolutive vers l'interprétabilité sans hypothèses structurelles restrictives. Page du projet : https://generative-latent-prior.github.io.

English

Existing approaches for analyzing neural network activations, such as PCA and sparse autoencoders, rely on strong structural assumptions. Generative models offer an alternative: they can uncover structure without such assumptions and act as priors that improve intervention fidelity. We explore this direction by training diffusion models on one billion residual stream activations, creating "meta-models" that learn the distribution of a network's internal states. We find that diffusion loss decreases smoothly with compute and reliably predicts downstream utility. In particular, applying the meta-model's learned prior to steering interventions improves fluency, with larger gains as loss decreases. Moreover, the meta-model's neurons increasingly isolate concepts into individual units, with sparse probing scores that scale as loss decreases. These results suggest generative meta-models offer a scalable path toward interpretability without restrictive structural assumptions. Project page: https://generative-latent-prior.github.io.