DELIFT: Ajuste Fino de Instruções de Modelo de Linguagem Eficiente em Dados

DELIFT: Data Efficient Language model Instruction Fine Tuning

November 7, 2024

Autores: Ishika Agarwal, Krishna Killamsetty, Lucian Popa, Marina Danilevksy

cs.AI

Resumo

A afinação de grandes modelos de linguagem (LLMs) é essencial para melhorar seu desempenho em tarefas específicas, mas frequentemente é intensiva em recursos devido a dados redundantes ou pouco informativos. Para lidar com essa ineficiência, apresentamos o DELIFT (Data Efficient Language model Instruction Fine-Tuning), um algoritmo inovador que otimiza sistematicamente a seleção de dados nas três etapas-chave da afinação: (1) afinação de instruções, (2) afinação específica da tarefa (por exemplo, raciocínio, pergunta-resposta) e (3) afinação contínua (por exemplo, incorporação de novas versões de dados). Ao contrário de métodos existentes que se concentram na otimização de uma única etapa ou dependem de cálculos de gradiente intensivos computacionalmente, o DELIFT opera de forma eficiente em todas as etapas. Central à nossa abordagem está uma métrica de utilidade em pares que quantifica o quão benéfica uma amostra de dados é para melhorar as respostas do modelo a outras amostras, medindo efetivamente o valor informacional em relação às capacidades atuais do modelo. Ao alavancar diferentes funções submodulares aplicadas a essa métrica, o DELIFT seleciona subconjuntos diversos e ótimos que são úteis em todas as etapas de afinação. Experimentos em várias tarefas e escalas de modelo demonstram que o DELIFT pode reduzir o tamanho dos dados de afinação em até 70% sem comprometer o desempenho, oferecendo economias computacionais significativas e superando os métodos existentes tanto em eficiência quanto em eficácia.

English

Fine-tuning large language models (LLMs) is essential for enhancing their performance on specific tasks but is often resource-intensive due to redundant or uninformative data. To address this inefficiency, we introduce DELIFT (Data Efficient Language model Instruction Fine-Tuning), a novel algorithm that systematically optimizes data selection across the three key stages of fine-tuning: (1) instruction tuning, (2) task-specific fine-tuning (e.g., reasoning, question-answering), and (3) continual fine-tuning (e.g., incorporating new data versions). Unlike existing methods that focus on single-stage optimization or rely on computationally intensive gradient calculations, DELIFT operates efficiently across all stages. Central to our approach is a pairwise utility metric that quantifies how beneficial a data sample is for improving the model's responses to other samples, effectively measuring the informational value relative to the model's current capabilities. By leveraging different submodular functions applied to this metric, DELIFT selects diverse and optimal subsets that are useful across all stages of fine-tuning. Experiments across various tasks and model scales demonstrate that DELIFT can reduce the fine-tuning data size by up to 70% without compromising performance, offering significant computational savings and outperforming existing methods in both efficiency and efficacy.