Una Dimensione Maggiore del Batch di Modifica è Sempre Migliore? -- Uno Studio Empirico sulla Modifica dei Modelli con Llama-3

Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3

May 1, 2024

Autori: Junsang Yoon, Akshat Gupta, Gopala Anumanchipalli

cs.AI

Abstract

Questo studio presenta un'analisi mirata della modifica dei modelli, focalizzata sull'ultimo modello di linguaggio su larga scala, Llama-3. Esploriamo l'efficacia delle tecniche di modifica dei modelli più diffuse - ROME, MEMIT e EMMET, progettate per interventi precisi a livello di strato. Identifichiamo gli strati più efficaci per modifiche mirate attraverso una valutazione che comprende fino a 4096 modifiche applicate secondo tre strategie distinte: modifica sequenziale, modifica in batch e un approccio ibrido che definiamo modifica sequenziale-batch. I nostri risultati indicano che l'aumento delle dimensioni dei batch di modifica può degradare le prestazioni del modello in modo più significativo rispetto all'uso di batch di modifica più piccoli applicati sequenzialmente per un numero equivalente di modifiche. Sulla base di ciò, sosteniamo che la modifica sequenziale dei modelli è un componente importante per scalare i metodi di modifica e che la ricerca futura dovrebbe concentrarsi su metodi che combinino sia la modifica in batch che quella sequenziale. Questa osservazione suggerisce una potenziale limitazione nei metodi attuali di modifica dei modelli, che spingono verso batch di modifica più grandi, e speriamo che apra la strada a future indagini sull'ottimizzazione delle dimensioni dei batch e delle prestazioni nella modifica dei modelli.

English

This study presents a targeted model editing analysis focused on the latest large language model, Llama-3. We explore the efficacy of popular model editing techniques - ROME, MEMIT, and EMMET, which are designed for precise layer interventions. We identify the most effective layers for targeted edits through an evaluation that encompasses up to 4096 edits across three distinct strategies: sequential editing, batch editing, and a hybrid approach we call as sequential-batch editing. Our findings indicate that increasing edit batch-sizes may degrade model performance more significantly than using smaller edit batches sequentially for equal number of edits. With this, we argue that sequential model editing is an important component for scaling model editing methods and future research should focus on methods that combine both batched and sequential editing. This observation suggests a potential limitation in current model editing methods which push towards bigger edit batch sizes, and we hope it paves way for future investigations into optimizing batch sizes and model editing performance.