AtP*: Un metodo efficiente e scalabile per localizzare il comportamento dei modelli linguistici di grandi dimensioni nei componenti

AtP*: An efficient and scalable method for localizing LLM behaviour to components

March 1, 2024

Autori: János Kramár, Tom Lieberum, Rohin Shah, Neel Nanda

cs.AI

Abstract

L'Activation Patching è un metodo per calcolare direttamente le attribuzioni causali del comportamento ai componenti del modello. Tuttavia, applicarlo in modo esaustivo richiede un'analisi con un costo che scala linearmente rispetto al numero di componenti del modello, il che può essere proibitivamente costoso per i Large Language Model (LLM) allo stato dell'arte. Investigiamo l'Attribution Patching (AtP), un'approssimazione basata su gradienti e veloce dell'Activation Patching, e individuiamo due classi di modalità di fallimento di AtP che portano a significativi falsi negativi. Proponiamo una variante di AtP chiamata AtP*, con due modifiche per affrontare queste modalità di fallimento mantenendo la scalabilità. Presentiamo il primo studio sistematico di AtP e di metodi alternativi per un Activation Patching più veloce e dimostriamo che AtP supera significativamente tutti gli altri metodi investigati, con AtP* che fornisce un ulteriore significativo miglioramento. Infine, forniamo un metodo per limitare la probabilità di falsi negativi rimanenti nelle stime di AtP*.

English

Activation Patching is a method of directly computing causal attributions of behavior to model components. However, applying it exhaustively requires a sweep with cost scaling linearly in the number of model components, which can be prohibitively expensive for SoTA Large Language Models (LLMs). We investigate Attribution Patching (AtP), a fast gradient-based approximation to Activation Patching and find two classes of failure modes of AtP which lead to significant false negatives. We propose a variant of AtP called AtP*, with two changes to address these failure modes while retaining scalability. We present the first systematic study of AtP and alternative methods for faster activation patching and show that AtP significantly outperforms all other investigated methods, with AtP* providing further significant improvement. Finally, we provide a method to bound the probability of remaining false negatives of AtP* estimates.