FIAT: Fusión de paradigmas de aprendizaje con ajuste acelerado por instrucciones

FIAT: Fusing learning paradigms with Instruction-Accelerated Tuning

September 9, 2023

Autores: Xinyi Wang, John Wieting, Jonathan H. Clark

cs.AI

Resumen

Los paradigmas de aprendizaje para modelos de lenguaje de gran escala (LLMs) actualmente tienden a caer dentro de dos categorías: aprendizaje en contexto (ICL) o ajuste fino completo. Cada uno de estos enfoques conlleva sus propias compensaciones basadas en los datos disponibles, el tamaño del modelo, el costo computacional, la facilidad de uso y la calidad final, sin que ninguna solución destaque en todos los aspectos. En este artículo, primero describimos los paradigmas de ICL y ajuste fino de manera que resalten sus conexiones naturales. Basándonos en estas conexiones, proponemos un nuevo paradigma de aprendizaje llamado FIAT que fusiona lo mejor de ambos enfoques, permitiendo instrucciones diseñadas mediante ingeniería de prompts y razonamiento en cadena con los modelos más grandes, mientras también utiliza métodos similares para realizar actualizaciones de parámetros en un LLM de tamaño moderado mediante ajuste eficiente en parámetros. Evaluamos la efectividad de FIAT en una variedad de tareas multilingües y observamos que FIAT supera tanto a ICL como al ajuste fino en escalas que van desde 100 hasta 10,000 ejemplos de entrenamiento. Esperamos que FIAT ofrezca una forma práctica de aprovechar todo el potencial de los LLMs sin necesidad de elegir de manera definitiva entre paradigmas de aprendizaje.

English

Learning paradigms for large language models (LLMs) currently tend to fall within either in-context learning (ICL) or full fine-tuning. Each of these comes with their own trade-offs based on available data, model size, compute cost, ease-of-use, and final quality with neither solution performing well across-the-board. In this article, we first describe ICL and fine-tuning paradigms in a way that highlights their natural connections. Based on these connections, we propose a new learning paradigm called FIAT that fuses the best of these paradigms together, enabling prompt-engineered instructions and chain-of-thought reasoning with the very largest models while also using similar methods to perform parameter updates on a modestly-sized LLM with parameter-efficient tuning. We evaluate FIAT's effectiveness on a variety of multilingual tasks and observe that FIAT performs better than both ICL and fine-tuning at scales ranging from 100-10,000 training examples. We hope that FIAT provides a practical way of harnessing the full potential of LLMs without needing to make a hard choice between learning paradigms.