Aprendendo um Meta-Modelo Generativo de Ativações de LLM
Learning a Generative Meta-Model of LLM Activations
February 6, 2026
Autores: Grace Luo, Jiahai Feng, Trevor Darrell, Alec Radford, Jacob Steinhardt
cs.AI
Resumo
As abordagens existentes para analisar ativações de redes neurais, como PCA e autoencoders esparsos, dependem de fortes pressupostos estruturais. Os modelos generativos oferecem uma alternativa: podem revelar estrutura sem tais pressupostos e atuar como priores que melhoram a fidelidade de intervenções. Exploramos esta direção treinando modelos de difusão em um bilhão de ativações do fluxo residual, criando "metamodelos" que aprendem a distribuição dos estados internos de uma rede. Descobrimos que a perda por difusão diminui suavemente com o poder computacional e prevê de forma confiável a utilidade downstream. Em particular, aplicar o prior aprendido pelo metamodelo a intervenções de direcionamento melhora a fluência, com ganhos maiores à medida que a perda diminui. Além disso, os neurônios do metamodelo isolam progressivamente conceitos em unidades individuais, com escores de sondagem esparsa que escalam conforme a perda diminui. Estes resultados sugerem que metamodelos generativos oferecem um caminho escalável para interpretabilidade sem pressupostos estruturais restritivos. Página do projeto: https://generative-latent-prior.github.io.
English
Existing approaches for analyzing neural network activations, such as PCA and sparse autoencoders, rely on strong structural assumptions. Generative models offer an alternative: they can uncover structure without such assumptions and act as priors that improve intervention fidelity. We explore this direction by training diffusion models on one billion residual stream activations, creating "meta-models" that learn the distribution of a network's internal states. We find that diffusion loss decreases smoothly with compute and reliably predicts downstream utility. In particular, applying the meta-model's learned prior to steering interventions improves fluency, with larger gains as loss decreases. Moreover, the meta-model's neurons increasingly isolate concepts into individual units, with sparse probing scores that scale as loss decreases. These results suggest generative meta-models offer a scalable path toward interpretability without restrictive structural assumptions. Project page: https://generative-latent-prior.github.io.