MUSCLE: Una Strategia di Aggiornamento del Modello per l'Evoluzione Compatibile degli LLM

Abstract

I Large Language Model (LLM) vengono aggiornati frequentemente a causa di modifiche ai dati o all'architettura per migliorarne le prestazioni. Durante l'aggiornamento dei modelli, gli sviluppatori si concentrano spesso sull'aumento delle metriche di prestazione complessive, dedicando meno attenzione alla compatibilità con le versioni precedenti del modello. Tuttavia, gli utenti tendono a costruire un modello mentale delle funzionalità e delle capacità di un particolare modello di machine learning con cui interagiscono. Devono adattare questo modello mentale a ogni aggiornamento, un compito faticoso che può portare a insoddisfazione. Nella pratica, gli adattatori per task downstream fine-tuned si basano su modelli base LLM pre-addestrati. Quando questi modelli base vengono aggiornati, i modelli downstream rivolti agli utenti sperimentano regressioni di istanze o "negative flips" — casi precedentemente corretti che ora vengono predetti in modo errato. Ciò accade anche quando le procedure di addestramento per i task downstream rimangono identiche. Il nostro lavoro mira a fornire aggiornamenti di modelli senza interruzioni per l'utente in due modi. Innanzitutto, forniamo metriche di valutazione per una nozione di compatibilità con le versioni precedenti del modello, specificamente per task generativi ma applicabili anche a task discriminativi. Osserviamo regressioni e inconsistenze tra diverse versioni del modello su un insieme diversificato di task e aggiornamenti. In secondo luogo, proponiamo una strategia di addestramento per minimizzare il numero di inconsistenze negli aggiornamenti del modello, che prevede l'addestramento di un modello di compatibilità in grado di migliorare i modelli linguistici fine-tuned per task specifici. Riduciamo i "negative flips" — casi in cui una versione precedente del modello era corretta, ma una nuova versione è errata — fino al 40% passando da Llama 1 a Llama 2.

English

Large Language Models (LLMs) are frequently updated due to data or architecture changes to improve their performance. When updating models, developers often focus on increasing overall performance metrics with less emphasis on being compatible with previous model versions. However, users often build a mental model of the functionality and capabilities of a particular machine learning model they are interacting with. They have to adapt their mental model with every update -- a draining task that can lead to user dissatisfaction. In practice, fine-tuned downstream task adapters rely on pretrained LLM base models. When these base models are updated, these user-facing downstream task models experience instance regression or negative flips -- previously correct instances are now predicted incorrectly. This happens even when the downstream task training procedures remain identical. Our work aims to provide seamless model updates to a user in two ways. First, we provide evaluation metrics for a notion of compatibility to prior model versions, specifically for generative tasks but also applicable for discriminative tasks. We observe regression and inconsistencies between different model versions on a diverse set of tasks and model updates. Second, we propose a training strategy to minimize the number of inconsistencies in model updates, involving training of a compatibility model that can enhance task fine-tuned language models. We reduce negative flips -- instances where a prior model version was correct, but a new model incorrect -- by up to 40% from Llama 1 to Llama 2.

MUSCLE: Una Strategia di Aggiornamento del Modello per l'Evoluzione Compatibile degli LLM

MUSCLE: A Model Update Strategy for Compatible LLM Evolution

Abstract

Support