DELIFT: Ajuste Fino de Instrucciones de Modelos de Lenguaje Eficiente en Datos

DELIFT: Data Efficient Language model Instruction Fine Tuning

November 7, 2024

Autores: Ishika Agarwal, Krishna Killamsetty, Lucian Popa, Marina Danilevksy

cs.AI

Resumen

El ajuste fino de modelos de lenguaje grandes (LLMs, por sus siglas en inglés) es esencial para mejorar su rendimiento en tareas específicas, pero suele ser intensivo en recursos debido a datos redundantes o poco informativos. Para abordar esta ineficiencia, presentamos DELIFT (Ajuste Fino de Instrucciones de Modelos de Lenguaje Eficiente en Datos), un algoritmo novedoso que optimiza sistemáticamente la selección de datos en las tres etapas clave del ajuste fino: (1) ajuste de instrucciones, (2) ajuste fino específico de la tarea (por ejemplo, razonamiento, pregunta-respuesta) y (3) ajuste fino continuo (por ejemplo, incorporación de nuevas versiones de datos). A diferencia de los métodos existentes que se centran en la optimización de una sola etapa o dependen de cálculos de gradientes intensivos computacionalmente, DELIFT opera eficientemente en todas las etapas. En el centro de nuestro enfoque se encuentra una métrica de utilidad por pares que cuantifica cuán beneficioso es una muestra de datos para mejorar las respuestas del modelo a otras muestras, midiendo efectivamente el valor informativo en relación con las capacidades actuales del modelo. Al aprovechar diferentes funciones submodulares aplicadas a esta métrica, DELIFT selecciona subconjuntos diversos y óptimos que son útiles en todas las etapas de ajuste fino. Experimentos en diversas tareas y escalas de modelos demuestran que DELIFT puede reducir el tamaño de los datos de ajuste fino hasta en un 70% sin comprometer el rendimiento, ofreciendo ahorros computacionales significativos y superando a los métodos existentes tanto en eficiencia como en eficacia.

English

Fine-tuning large language models (LLMs) is essential for enhancing their performance on specific tasks but is often resource-intensive due to redundant or uninformative data. To address this inefficiency, we introduce DELIFT (Data Efficient Language model Instruction Fine-Tuning), a novel algorithm that systematically optimizes data selection across the three key stages of fine-tuning: (1) instruction tuning, (2) task-specific fine-tuning (e.g., reasoning, question-answering), and (3) continual fine-tuning (e.g., incorporating new data versions). Unlike existing methods that focus on single-stage optimization or rely on computationally intensive gradient calculations, DELIFT operates efficiently across all stages. Central to our approach is a pairwise utility metric that quantifies how beneficial a data sample is for improving the model's responses to other samples, effectively measuring the informational value relative to the model's current capabilities. By leveraging different submodular functions applied to this metric, DELIFT selects diverse and optimal subsets that are useful across all stages of fine-tuning. Experiments across various tasks and model scales demonstrate that DELIFT can reduce the fine-tuning data size by up to 70% without compromising performance, offering significant computational savings and outperforming existing methods in both efficiency and efficacy.