Confianza y Calibración de Oráculos de Activación para una Interpretación Confiable de los Internos del Modelo de Lenguaje

Resumen

Los oráculos de activación tienen como objetivo hacer legibles para los humanos las activaciones de otros modelos, y ofrecen resultados prometedores en comparación con las técnicas de interpretabilidad de caja blanca. Sin embargo, la cuantificación de incertidumbre (UQ) para las salidas en lenguaje natural de estos oráculos de activación ha sido hasta ahora poco estudiada. En este trabajo, investigamos 6 métodos diferentes para estimar la confianza de los oráculos de activación y evaluamos qué tan bien calibradas están sus puntuaciones de confianza. Nuestros experimentos con 6,000 muestras por oráculo (variando verbalizador y prompts de contexto) revelan que la frecuencia modal bootstrap es el método mejor calibrado entre los evaluados (ECE del 5.7% frente al 25.5% para la log-probabilidad de la palabra respuesta en Qwen3-8B; 10.3% frente a 13.1% en Qwen3.6-27B), y que la línea base de log-prob puede servir como una señal de triaje rápida a una fracción del costo. El código y el entrenador adaptado están disponibles en https://github.com/federicotorrielli/probabilistic_activation_oracles.

English

Activation oracles aim to make the activations of other models legible to humans and yield promising results compared to white-box interpretability techniques. However, uncertainty quantification (UQ) for the natural-language outputs of such activation oracles is so far understudied. Here, we investigate 6 different methods for estimating the confidence of activation oracles and evaluate how well-calibrated their confidence scores are. Our experiments on 6,000 samples per oracle (varying verbalizer and context prompts) reveal that bootstrap mode frequency is the best-calibrated method among those tested (ECE 5.7% vs. 25.5% for the answer-word log-probability on Qwen3-8B; 10.3% vs. 13.1% on Qwen3.6-27B), and that the log-prob baseline can serve as a fast triage signal at a fraction of the cost. Code and the patched trainer are available at https://github.com/federicotorrielli/probabilistic_activation_oracles.