더 큰 편집 배치 크기가 항상 더 나은가? -- Llama-3를 활용한 모델 편집에 대한 실증적 연구

Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3

May 1, 2024

저자: Junsang Yoon, Akshat Gupta, Gopala Anumanchipalli

cs.AI

초록

본 연구는 최신 대규모 언어 모델인 Llama-3를 대상으로 한 표적 모델 편집 분석을 제시합니다. 우리는 정밀한 레이어 개입을 위해 설계된 인기 있는 모델 편집 기법인 ROME, MEMIT, EMMET의 효용성을 탐구합니다. 세 가지 전략(순차 편집, 배치 편집, 그리고 순차-배치 편집이라 명명한 하이브리드 접근법)을 통해 최대 4096개의 편집을 포함한 평가를 수행하며, 표적 편집에 가장 효과적인 레이어를 식별합니다. 연구 결과에 따르면, 동일한 수의 편집을 수행할 때 작은 편집 배치를 순차적으로 사용하는 것보다 편집 배치 크기를 늘리는 것이 모델 성능을 더 크게 저하시킬 수 있음을 보여줍니다. 이를 통해, 순차적 모델 편집이 모델 편집 방법의 확장에 중요한 요소이며, 향후 연구는 배치 및 순차 편집을 결합한 방법에 초점을 맞춰야 한다고 주장합니다. 이 관찰은 더 큰 편집 배치 크기를 지향하는 현재의 모델 편집 방법에 잠재적인 한계가 있음을 시사하며, 배치 크기와 모델 편집 성능을 최적화하기 위한 향후 연구의 길을 열어줄 것으로 기대합니다.

English

This study presents a targeted model editing analysis focused on the latest large language model, Llama-3. We explore the efficacy of popular model editing techniques - ROME, MEMIT, and EMMET, which are designed for precise layer interventions. We identify the most effective layers for targeted edits through an evaluation that encompasses up to 4096 edits across three distinct strategies: sequential editing, batch editing, and a hybrid approach we call as sequential-batch editing. Our findings indicate that increasing edit batch-sizes may degrade model performance more significantly than using smaller edit batches sequentially for equal number of edits. With this, we argue that sequential model editing is an important component for scaling model editing methods and future research should focus on methods that combine both batched and sequential editing. This observation suggests a potential limitation in current model editing methods which push towards bigger edit batch sizes, and we hope it paves way for future investigations into optimizing batch sizes and model editing performance.