Apprendimento di un Meta-Modello Generativo delle Attivazioni dei LLM
Learning a Generative Meta-Model of LLM Activations
February 6, 2026
Autori: Grace Luo, Jiahai Feng, Trevor Darrell, Alec Radford, Jacob Steinhardt
cs.AI
Abstract
Gli approcci esistenti per analizzare le attivazioni delle reti neurali, come PCA e autoencoder sparsi, si basano su forti assunzioni strutturali. I modelli generativi offrono un'alternativa: possono scoprire strutture senza tali assunzioni e agire come prior che migliorano la fedeltà degli interventi. Esploriamo questa direzione addestrando modelli di diffusione su un miliardo di attivazioni del flusso residuo, creando "meta-modelli" che apprendono la distribuzione degli stati interni di una rete. Troviamo che la loss di diffusione diminuisce in modo regolare con il calcolo e predice in modo affidabile l'utilità a valle. In particolare, applicando il prior appreso dal meta-modello agli interventi di steering si migliora la fluidità, con guadagni maggiori al diminuire della loss. Inoltre, i neuroni del meta-modello isolano progressivamente i concetti in unità individuali, con punteggi di probing sparsi che scalano al diminuire della loss. Questi risultati suggeriscono che i meta-modelli generativi offrono un percorso scalabile verso l'interpretabilità senza assunzioni strutturali restrittive. Pagina del progetto: https://generative-latent-prior.github.io.
English
Existing approaches for analyzing neural network activations, such as PCA and sparse autoencoders, rely on strong structural assumptions. Generative models offer an alternative: they can uncover structure without such assumptions and act as priors that improve intervention fidelity. We explore this direction by training diffusion models on one billion residual stream activations, creating "meta-models" that learn the distribution of a network's internal states. We find that diffusion loss decreases smoothly with compute and reliably predicts downstream utility. In particular, applying the meta-model's learned prior to steering interventions improves fluency, with larger gains as loss decreases. Moreover, the meta-model's neurons increasingly isolate concepts into individual units, with sparse probing scores that scale as loss decreases. These results suggest generative meta-models offer a scalable path toward interpretability without restrictive structural assumptions. Project page: https://generative-latent-prior.github.io.