Ist eine größere Bearbeitungsbatchgröße immer besser? - Eine empirische Studie zur Modellbearbeitung mit Llama-3

Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3

May 1, 2024

Autoren: Junsang Yoon, Akshat Gupta, Gopala Anumanchipalli

cs.AI

Zusammenfassung

Diese Studie präsentiert eine gezielte Modellbearbeitungsanalyse, die sich auf das neueste große Sprachmodell, Llama-3, konzentriert. Wir untersuchen die Wirksamkeit beliebter Modellbearbeitungstechniken - ROME, MEMIT und EMMET, die für präzise Schichteingriffe entwickelt wurden. Wir identifizieren die effektivsten Schichten für gezielte Bearbeitungen durch eine Bewertung, die bis zu 4096 Bearbeitungen über drei verschiedene Strategien umfasst: sequenzielle Bearbeitung, Stapelbearbeitung und einen Hybridansatz, den wir als sequenzielle Stapelbearbeitung bezeichnen. Unsere Ergebnisse deuten darauf hin, dass eine Erhöhung der Stapelgröße die Modellleistung signifikanter beeinträchtigen kann als die Verwendung kleinerer Bearbeitungsstapel sequenziell für die gleiche Anzahl von Bearbeitungen. Damit argumentieren wir, dass die sequenzielle Modellbearbeitung eine wichtige Komponente für die Skalierung von Modellbearbeitungsmethoden ist und zukünftige Forschungsmethoden im Fokus stehen sollte, die sowohl Stapel- als auch sequenzielle Bearbeitung kombinieren. Diese Beobachtung deutet auf eine potenzielle Einschränkung bei aktuellen Modellbearbeitungsmethoden hin, die auf größere Bearbeitungsstapelgrößen abzielen, und wir hoffen, dass dies den Weg für zukünftige Untersuchungen zur Optimierung von Stapelgrößen und Modellbearbeitungsleistung ebnet.

English

This study presents a targeted model editing analysis focused on the latest large language model, Llama-3. We explore the efficacy of popular model editing techniques - ROME, MEMIT, and EMMET, which are designed for precise layer interventions. We identify the most effective layers for targeted edits through an evaluation that encompasses up to 4096 edits across three distinct strategies: sequential editing, batch editing, and a hybrid approach we call as sequential-batch editing. Our findings indicate that increasing edit batch-sizes may degrade model performance more significantly than using smaller edit batches sequentially for equal number of edits. With this, we argue that sequential model editing is an important component for scaling model editing methods and future research should focus on methods that combine both batched and sequential editing. This observation suggests a potential limitation in current model editing methods which push towards bigger edit batch sizes, and we hope it paves way for future investigations into optimizing batch sizes and model editing performance.