Het aanleren van een generatief metamodel van LLM-activaties
Learning a Generative Meta-Model of LLM Activations
February 6, 2026
Auteurs: Grace Luo, Jiahai Feng, Trevor Darrell, Alec Radford, Jacob Steinhardt
cs.AI
Samenvatting
Bestaande benaderingen voor het analyseren van neurale netwerkactivaties, zoals PCA en sparse auto-encoders, steunen op sterke structurele aannames. Generatieve modellen bieden een alternatief: zij kunnen structuur blootleggen zonder dergelijke aannames en fungeren als priors die de interventiegetrouwheid verbeteren. Wij verkennen deze richting door diffusion-modellen te trainen op één miljard residual stream-activaties, waardoor "meta-modellen" ontstaan die de verdeling van de interne toestanden van een netwerk leren. Wij stellen vast dat de diffusion-loss soepel afneemt met rekencapaciteit en op betrouwbare wijze de downstream-nuttigheid voorspelt. In het bijzonder verbetert het toepassen van de door het meta-model geleerde prior op stuurinterventies de vlotheid, met grotere verbeteringen naarmate de loss afneemt. Bovendien isoleren de neuronen van het meta-model in toenemende mate concepten in individuele eenheden, met sparse probing-scores die schalen naarmate de loss afneemt. Deze resultaten suggereren dat generatieve meta-modellen een schaalbare weg bieden naar interpreteerbaarheid zonder restrictieve structurele aannames. Projectpagina: https://generative-latent-prior.github.io.
English
Existing approaches for analyzing neural network activations, such as PCA and sparse autoencoders, rely on strong structural assumptions. Generative models offer an alternative: they can uncover structure without such assumptions and act as priors that improve intervention fidelity. We explore this direction by training diffusion models on one billion residual stream activations, creating "meta-models" that learn the distribution of a network's internal states. We find that diffusion loss decreases smoothly with compute and reliably predicts downstream utility. In particular, applying the meta-model's learned prior to steering interventions improves fluency, with larger gains as loss decreases. Moreover, the meta-model's neurons increasingly isolate concepts into individual units, with sparse probing scores that scale as loss decreases. These results suggest generative meta-models offer a scalable path toward interpretability without restrictive structural assumptions. Project page: https://generative-latent-prior.github.io.