MUSCLE : Une stratégie de mise à jour de modèle pour l'évolution compatible des LLM

MUSCLE: A Model Update Strategy for Compatible LLM Evolution

July 12, 2024

Auteurs: Jessica Echterhoff, Fartash Faghri, Raviteja Vemulapalli, Ting-Yao Hu, Chun-Liang Li, Oncel Tuzel, Hadi Pouransari

cs.AI

Résumé

Les grands modèles de langage (LLMs) sont fréquemment mis à jour en raison de modifications des données ou de l'architecture afin d'améliorer leurs performances. Lors de la mise à jour des modèles, les développeurs se concentrent souvent sur l'amélioration des métriques de performance globales, en accordant moins d'importance à la compatibilité avec les versions précédentes du modèle. Cependant, les utilisateurs construisent souvent un modèle mental des fonctionnalités et des capacités d'un modèle d'apprentissage automatique particulier avec lequel ils interagissent. Ils doivent adapter ce modèle mental à chaque mise à jour — une tâche épuisante qui peut entraîner une insatisfaction des utilisateurs. En pratique, les adaptateurs de tâches en aval affinés reposent sur des modèles de base LLM pré-entraînés. Lorsque ces modèles de base sont mis à jour, ces modèles de tâches en aval utilisés par les utilisateurs subissent une régression d'instances ou des inversions négatives — des instances précédemment correctes sont maintenant prédites de manière incorrecte. Cela se produit même lorsque les procédures d'entraînement des tâches en aval restent identiques. Notre travail vise à fournir des mises à jour de modèles transparentes pour l'utilisateur de deux manières. Premièrement, nous proposons des métriques d'évaluation pour une notion de compatibilité avec les versions précédentes du modèle, spécifiquement pour les tâches génératives mais également applicables aux tâches discriminatives. Nous observons des régressions et des incohérences entre différentes versions de modèles sur un ensemble diversifié de tâches et de mises à jour de modèles. Deuxièmement, nous proposons une stratégie d'entraînement pour minimiser le nombre d'incohérences lors des mises à jour de modèles, impliquant l'entraînement d'un modèle de compatibilité qui peut améliorer les modèles de langage affinés pour des tâches spécifiques. Nous réduisons les inversions négatives — les instances où une version précédente du modèle était correcte, mais une nouvelle version incorrecte — jusqu'à 40 % entre Llama 1 et Llama 2.

English

Large Language Models (LLMs) are frequently updated due to data or architecture changes to improve their performance. When updating models, developers often focus on increasing overall performance metrics with less emphasis on being compatible with previous model versions. However, users often build a mental model of the functionality and capabilities of a particular machine learning model they are interacting with. They have to adapt their mental model with every update -- a draining task that can lead to user dissatisfaction. In practice, fine-tuned downstream task adapters rely on pretrained LLM base models. When these base models are updated, these user-facing downstream task models experience instance regression or negative flips -- previously correct instances are now predicted incorrectly. This happens even when the downstream task training procedures remain identical. Our work aims to provide seamless model updates to a user in two ways. First, we provide evaluation metrics for a notion of compatibility to prior model versions, specifically for generative tasks but also applicable for discriminative tasks. We observe regression and inconsistencies between different model versions on a diverse set of tasks and model updates. Second, we propose a training strategy to minimize the number of inconsistencies in model updates, involving training of a compatibility model that can enhance task fine-tuned language models. We reduce negative flips -- instances where a prior model version was correct, but a new model incorrect -- by up to 40% from Llama 1 to Llama 2.