¿Es siempre mejor un tamaño de lote de edición más grande? -- Un estudio empírico sobre la edición de modelos con Llama-3

Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3

May 1, 2024

Autores: Junsang Yoon, Akshat Gupta, Gopala Anumanchipalli

cs.AI

Resumen

Este estudio presenta un análisis dirigido de edición de modelos centrado en el último modelo de lenguaje a gran escala, Llama-3. Exploramos la eficacia de técnicas populares de edición de modelos - ROME, MEMIT y EMMET, diseñadas para intervenciones precisas en capas. Identificamos las capas más efectivas para ediciones dirigidas mediante una evaluación que abarca hasta 4096 ediciones en tres estrategias distintas: edición secuencial, edición por lotes y un enfoque híbrido que denominamos edición secuencial-por lotes. Nuestros hallazgos indican que aumentar el tamaño de los lotes de edición puede degradar el rendimiento del modelo más significativamente que utilizar lotes de edición más pequeños de manera secuencial para un número igual de ediciones. Con esto, argumentamos que la edición secuencial de modelos es un componente importante para escalar los métodos de edición de modelos, y que futuras investigaciones deberían centrarse en métodos que combinen tanto la edición por lotes como la secuencial. Esta observación sugiere una limitación potencial en los métodos actuales de edición de modelos que tienden hacia tamaños de lotes de edición más grandes, y esperamos que abra el camino para futuras investigaciones sobre la optimización de los tamaños de lotes y el rendimiento de la edición de modelos.

English

This study presents a targeted model editing analysis focused on the latest large language model, Llama-3. We explore the efficacy of popular model editing techniques - ROME, MEMIT, and EMMET, which are designed for precise layer interventions. We identify the most effective layers for targeted edits through an evaluation that encompasses up to 4096 edits across three distinct strategies: sequential editing, batch editing, and a hybrid approach we call as sequential-batch editing. Our findings indicate that increasing edit batch-sizes may degrade model performance more significantly than using smaller edit batches sequentially for equal number of edits. With this, we argue that sequential model editing is an important component for scaling model editing methods and future research should focus on methods that combine both batched and sequential editing. This observation suggests a potential limitation in current model editing methods which push towards bigger edit batch sizes, and we hope it paves way for future investigations into optimizing batch sizes and model editing performance.