Confiance et calibration des oracles d'activation pour une interprétation fiable des internes des modèles de langage

Résumé

Les oracles d'activation visent à rendre les activations d'autres modèles compréhensibles pour les humains et donnent des résultats prometteurs par rapport aux techniques d'interprétabilité en boîte blanche. Cependant, la quantification de l'incertitude (UQ) pour les sorties en langage naturel de ces oracles d'activation reste peu étudiée à ce jour. Ici, nous examinons six méthodes différentes pour estimer la confiance des oracles d'activation et évaluons à quel point leurs scores de confiance sont bien calibrés. Nos expériences sur 6 000 échantillons par oracle (en faisant varier le verbaliseur et les invites de contexte) révèlent que la fréquence du mode bootstrap est la méthode la mieux calibrée parmi celles testées (ECE de 5,7 % contre 25,5 % pour la log-probabilité du mot de réponse sur Qwen3-8B ; 10,3 % contre 13,1 % sur Qwen3.6-27B), et que la référence basée sur le log-prob peut servir de signal de tri rapide pour une fraction du coût. Le code et l'entraîneur patché sont disponibles à l'adresse https://github.com/federicotorrielli/probabilistic_activation_oracles.

English

Activation oracles aim to make the activations of other models legible to humans and yield promising results compared to white-box interpretability techniques. However, uncertainty quantification (UQ) for the natural-language outputs of such activation oracles is so far understudied. Here, we investigate 6 different methods for estimating the confidence of activation oracles and evaluate how well-calibrated their confidence scores are. Our experiments on 6,000 samples per oracle (varying verbalizer and context prompts) reveal that bootstrap mode frequency is the best-calibrated method among those tested (ECE 5.7% vs. 25.5% for the answer-word log-probability on Qwen3-8B; 10.3% vs. 13.1% on Qwen3.6-27B), and that the log-prob baseline can serve as a fast triage signal at a fraction of the cost. Code and the patched trainer are available at https://github.com/federicotorrielli/probabilistic_activation_oracles.