Aprendizaje de un Meta-Modelo Generativo de Activaciones de LLM

Learning a Generative Meta-Model of LLM Activations

February 6, 2026

Autores: Grace Luo, Jiahai Feng, Trevor Darrell, Alec Radford, Jacob Steinhardt

cs.AI

Resumen

Los enfoques existentes para analizar activaciones de redes neuronales, como el PCA y los autoencoders dispersos, dependen de fuertes suposiciones estructurales. Los modelos generativos ofrecen una alternativa: pueden descubrir estructura sin dichas suposiciones y actuar como priores que mejoran la fidelidad de las intervenciones. Exploramos esta dirección entrenando modelos de difusión en mil millones de activaciones del flujo residual, creando "meta-modelos" que aprenden la distribución de los estados internos de una red. Encontramos que la pérdida por difusión disminuye de forma suave con el poder computacional y predice de manera confiable la utilidad en tareas posteriores. En particular, aplicar el prior aprendido del meta-modelo a intervenciones de direccionamiento mejora la fluidez, con mayores ganancias a medida que disminuye la pérdida. Además, las neuronas del meta-modelo aíslan progresivamente conceptos en unidades individuales, con puntuaciones de sondaje disperso que escalan a medida que disminuye la pérdida. Estos resultados sugieren que los meta-modelos generativos ofrecen un camino escalable hacia la interpretabilidad sin suposiciones estructurales restrictivas. Página del proyecto: https://generative-latent-prior.github.io.

English

Existing approaches for analyzing neural network activations, such as PCA and sparse autoencoders, rely on strong structural assumptions. Generative models offer an alternative: they can uncover structure without such assumptions and act as priors that improve intervention fidelity. We explore this direction by training diffusion models on one billion residual stream activations, creating "meta-models" that learn the distribution of a network's internal states. We find that diffusion loss decreases smoothly with compute and reliably predicts downstream utility. In particular, applying the meta-model's learned prior to steering interventions improves fluency, with larger gains as loss decreases. Moreover, the meta-model's neurons increasingly isolate concepts into individual units, with sparse probing scores that scale as loss decreases. These results suggest generative meta-models offer a scalable path toward interpretability without restrictive structural assumptions. Project page: https://generative-latent-prior.github.io.