Lernen eines generativen Meta-Modells von LLM-Aktivierungen
Learning a Generative Meta-Model of LLM Activations
February 6, 2026
Autoren: Grace Luo, Jiahai Feng, Trevor Darrell, Alec Radford, Jacob Steinhardt
cs.AI
Zusammenfassung
Bestehende Ansätze zur Analyse von Neural-Network-Aktivierungen, wie PCA und sparse Autoencoder, basieren auf starken strukturellen Annahmen. Generative Modelle bieten eine Alternative: Sie können Struktur ohne solche Annahmen aufdecken und als Priors fungieren, die die Interventionsfidelität verbessern. Wir untersuchen diesen Ansatz, indem wir Diffusionsmodelle auf einer Milliarde Residual-Stream-Aktivierungen trainieren und so "Meta-Modelle" erstellen, die die Verteilung der internen Zustände eines Netzwerks erlernen. Wir stellen fest, dass der Diffusionsverlust rechnerisch gleichmäßig abnimmt und zuverlässig den nachgelagerten Nutzen vorhersagt. Insbesondere verbessert die Anwendung des gelernten Priors des Meta-Modells auf Steuerungseingriffe die Flüssigkeit, wobei die Gewinne mit sinkendem Verlust größer werden. Darüber hinaus isolieren die Neuronen des Meta-Modells zunehmend Konzepte in einzelnen Einheiten, mit spärlichen Probing-Scores, die mit sinkendem Verlust skalieren. Diese Ergebnisse deuten darauf hin, dass generative Meta-Modelle einen skalierbaren Weg zur Interpretierbarkeit ohne restriktive strukturelle Annahmen bieten. Projektseite: https://generative-latent-prior.github.io.
English
Existing approaches for analyzing neural network activations, such as PCA and sparse autoencoders, rely on strong structural assumptions. Generative models offer an alternative: they can uncover structure without such assumptions and act as priors that improve intervention fidelity. We explore this direction by training diffusion models on one billion residual stream activations, creating "meta-models" that learn the distribution of a network's internal states. We find that diffusion loss decreases smoothly with compute and reliably predicts downstream utility. In particular, applying the meta-model's learned prior to steering interventions improves fluency, with larger gains as loss decreases. Moreover, the meta-model's neurons increasingly isolate concepts into individual units, with sparse probing scores that scale as loss decreases. These results suggest generative meta-models offer a scalable path toward interpretability without restrictive structural assumptions. Project page: https://generative-latent-prior.github.io.