MUSCLE: 호환 가능한 대형 언어 모델 진화를 위한 모델 업데이트 전략

MUSCLE: A Model Update Strategy for Compatible LLM Evolution

July 12, 2024

저자: Jessica Echterhoff, Fartash Faghri, Raviteja Vemulapalli, Ting-Yao Hu, Chun-Liang Li, Oncel Tuzel, Hadi Pouransari

cs.AI

초록

대형 언어 모델(LLMs)은 성능 향상을 위해 데이터나 아키텍처 변경으로 인해 자주 업데이트됩니다. 모델을 업데이트할 때 개발자들은 종종 전반적인 성능 지표를 높이는 데 초점을 맞추며, 이전 모델 버전과의 호환성에는 상대적으로 덜 주의를 기울입니다. 그러나 사용자들은 상호작용하는 특정 머신러닝 모델의 기능과 능력에 대한 정신적 모델을 구축합니다. 매 업데이트마다 이 정신적 모델을 적응시켜야 하는데, 이는 사용자에게 부담이 되며 불만족으로 이어질 수 있습니다. 실제로, 미세 조정된 다운스트림 작업 어댑터는 사전 학습된 LLM 기본 모델에 의존합니다. 이러한 기본 모델이 업데이트되면, 사용자에게 노출되는 다운스트림 작업 모델은 인스턴스 회귀(instance regression) 또는 부정적 반전(negative flips)을 경험합니다. 이전에는 정확했던 인스턴스들이 이제는 잘못 예측되는 현상이 발생합니다. 이는 다운스트림 작업 훈련 절차가 동일하게 유지되더라도 발생합니다. 우리의 연구는 두 가지 방식으로 사용자에게 원활한 모델 업데이트를 제공하는 것을 목표로 합니다. 첫째, 이전 모델 버전과의 호환성 개념을 위한 평가 지표를 제공합니다. 이는 생성 작업에 특화되어 있지만 판별 작업에도 적용 가능합니다. 다양한 작업과 모델 업데이트에서 모델 버전 간의 회귀와 불일치를 관찰합니다. 둘째, 모델 업데이트에서 불일치를 최소화하기 위한 훈련 전략을 제안합니다. 이는 작업 미세 조정 언어 모델을 강화할 수 있는 호환성 모델의 훈련을 포함합니다. Llama 1에서 Llama 2로의 업데이트에서 부정적 반전(이전 모델 버전에서는 정확했지만 새 모델에서는 잘못된 경우)을 최대 40%까지 줄였습니다.

English

Large Language Models (LLMs) are frequently updated due to data or architecture changes to improve their performance. When updating models, developers often focus on increasing overall performance metrics with less emphasis on being compatible with previous model versions. However, users often build a mental model of the functionality and capabilities of a particular machine learning model they are interacting with. They have to adapt their mental model with every update -- a draining task that can lead to user dissatisfaction. In practice, fine-tuned downstream task adapters rely on pretrained LLM base models. When these base models are updated, these user-facing downstream task models experience instance regression or negative flips -- previously correct instances are now predicted incorrectly. This happens even when the downstream task training procedures remain identical. Our work aims to provide seamless model updates to a user in two ways. First, we provide evaluation metrics for a notion of compatibility to prior model versions, specifically for generative tasks but also applicable for discriminative tasks. We observe regression and inconsistencies between different model versions on a diverse set of tasks and model updates. Second, we propose a training strategy to minimize the number of inconsistencies in model updates, involving training of a compatibility model that can enhance task fine-tuned language models. We reduce negative flips -- instances where a prior model version was correct, but a new model incorrect -- by up to 40% from Llama 1 to Llama 2.