MUSCLE: Uma Estratégia de Atualização de Modelo para a Evolução Compatível de LLM

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) são frequentemente atualizados devido a mudanças nos dados ou na arquitetura para melhorar seu desempenho. Ao atualizar os modelos, os desenvolvedores frequentemente concentram-se em aumentar as métricas gerais de desempenho com menos ênfase na compatibilidade com versões anteriores do modelo. No entanto, os usuários frequentemente constroem um modelo mental da funcionalidade e capacidades de um modelo de aprendizado de máquina específico com o qual estão interagindo. Eles precisam adaptar seu modelo mental a cada atualização -- uma tarefa exaustiva que pode levar à insatisfação do usuário. Na prática, os adaptadores de tarefas downstream ajustadas dependem de modelos base LLM pré-treinados. Quando esses modelos base são atualizados, esses modelos de tarefas downstream voltados para o usuário experimentam regressão de instância ou inversões negativas -- instâncias anteriormente corretas agora são previstas incorretamente. Isso ocorre mesmo quando os procedimentos de treinamento da tarefa downstream permanecem idênticos. Nosso trabalho tem como objetivo fornecer atualizações de modelo contínuas a um usuário de duas maneiras. Primeiramente, fornecemos métricas de avaliação para uma noção de compatibilidade com versões anteriores do modelo, especificamente para tarefas generativas, mas também aplicáveis a tarefas discriminativas. Observamos regressão e inconsistências entre diferentes versões de modelos em um conjunto diversificado de tarefas e atualizações de modelos. Em segundo lugar, propomos uma estratégia de treinamento para minimizar o número de inconsistências nas atualizações de modelos, envolvendo o treinamento de um modelo de compatibilidade que pode aprimorar os modelos de linguagem ajustados para tarefas. Reduzimos as inversões negativas -- instâncias em que uma versão anterior do modelo estava correta, mas um novo modelo está incorreto -- em até 40% do Llama 1 para o Llama 2.

English

Large Language Models (LLMs) are frequently updated due to data or architecture changes to improve their performance. When updating models, developers often focus on increasing overall performance metrics with less emphasis on being compatible with previous model versions. However, users often build a mental model of the functionality and capabilities of a particular machine learning model they are interacting with. They have to adapt their mental model with every update -- a draining task that can lead to user dissatisfaction. In practice, fine-tuned downstream task adapters rely on pretrained LLM base models. When these base models are updated, these user-facing downstream task models experience instance regression or negative flips -- previously correct instances are now predicted incorrectly. This happens even when the downstream task training procedures remain identical. Our work aims to provide seamless model updates to a user in two ways. First, we provide evaluation metrics for a notion of compatibility to prior model versions, specifically for generative tasks but also applicable for discriminative tasks. We observe regression and inconsistencies between different model versions on a diverse set of tasks and model updates. Second, we propose a training strategy to minimize the number of inconsistencies in model updates, involving training of a compatibility model that can enhance task fine-tuned language models. We reduce negative flips -- instances where a prior model version was correct, but a new model incorrect -- by up to 40% from Llama 1 to Llama 2.

MUSCLE: Uma Estratégia de Atualização de Modelo para a Evolução Compatível de LLM

MUSCLE: A Model Update Strategy for Compatible LLM Evolution

Resumo

Support