MUSCLE: Een Modelupdate Strategie voor Compatibele LLM-evolutie

Samenvatting

Grote Taalmodellen (LLMs) worden regelmatig bijgewerkt vanwege wijzigingen in data of architectuur om hun prestaties te verbeteren. Bij het updaten van modellen richten ontwikkelaars zich vaak op het verhogen van algemene prestatiemetrics, met minder nadruk op compatibiliteit met eerdere modelversies. Gebruikers ontwikkelen echter vaak een mentaal model van de functionaliteit en mogelijkheden van een specifiek machine learning-model waarmee ze interacteren. Zij moeten hun mentale model bij elke update aanpassen — een vermoeiende taak die kan leiden tot gebruikersontevredenheid. In de praktijk zijn fijn afgestemde adapters voor downstream taken afhankelijk van vooraf getrainde LLM-basismodellen. Wanneer deze basismodellen worden bijgewerkt, ervaren deze gebruikersgerichte downstream-taken instance regression of negative flips — eerder correcte instanties worden nu incorrect voorspeld. Dit gebeurt zelfs wanneer de trainingsprocedures voor downstream taken identiek blijven. Ons werk heeft als doel om gebruikers naadloze modelupdates te bieden op twee manieren. Ten eerste bieden we evaluatiemetrics voor een notie van compatibiliteit met eerdere modelversies, specifiek voor generatieve taken maar ook toepasbaar voor discriminatieve taken. We observeren regressie en inconsistenties tussen verschillende modelversies bij een diverse set taken en modelupdates. Ten tweede stellen we een trainingsstrategie voor om het aantal inconsistenties bij modelupdates te minimaliseren, waarbij een compatibiliteitsmodel wordt getraind dat fijn afgestemde taalmodelen kan verbeteren. We verminderen negative flips — instanties waarbij een eerdere modelversie correct was, maar een nieuw model incorrect — met tot wel 40% van Llama 1 naar Llama 2.

English

Large Language Models (LLMs) are frequently updated due to data or architecture changes to improve their performance. When updating models, developers often focus on increasing overall performance metrics with less emphasis on being compatible with previous model versions. However, users often build a mental model of the functionality and capabilities of a particular machine learning model they are interacting with. They have to adapt their mental model with every update -- a draining task that can lead to user dissatisfaction. In practice, fine-tuned downstream task adapters rely on pretrained LLM base models. When these base models are updated, these user-facing downstream task models experience instance regression or negative flips -- previously correct instances are now predicted incorrectly. This happens even when the downstream task training procedures remain identical. Our work aims to provide seamless model updates to a user in two ways. First, we provide evaluation metrics for a notion of compatibility to prior model versions, specifically for generative tasks but also applicable for discriminative tasks. We observe regression and inconsistencies between different model versions on a diverse set of tasks and model updates. Second, we propose a training strategy to minimize the number of inconsistencies in model updates, involving training of a compatibility model that can enhance task fine-tuned language models. We reduce negative flips -- instances where a prior model version was correct, but a new model incorrect -- by up to 40% from Llama 1 to Llama 2.

MUSCLE: Een Modelupdate Strategie voor Compatibele LLM-evolutie

MUSCLE: A Model Update Strategy for Compatible LLM Evolution

Samenvatting

Support