FIAT : Fusion des paradigmes d'apprentissage avec un réglage accéléré par instructions

FIAT: Fusing learning paradigms with Instruction-Accelerated Tuning

September 9, 2023

Auteurs: Xinyi Wang, John Wieting, Jonathan H. Clark

cs.AI

Résumé

Les paradigmes d'apprentissage pour les grands modèles de langage (LLM) se répartissent actuellement entre l'apprentissage en contexte (ICL) et le réglage fin complet. Chacun de ces approches présente ses propres compromis en termes de données disponibles, taille du modèle, coût de calcul, facilité d'utilisation et qualité finale, sans qu'aucune solution ne se démarque universellement. Dans cet article, nous décrivons d'abord les paradigmes ICL et de réglage fin en mettant en lumière leurs connexions naturelles. Sur la base de ces connexions, nous proposons un nouveau paradigme d'apprentissage appelé FIAT, qui fusionne les meilleurs aspects de ces paradigmes, permettant à la fois des instructions optimisées par ingénierie de prompts et un raisonnement en chaîne de pensée avec les plus grands modèles, tout en utilisant des méthodes similaires pour effectuer des mises à jour de paramètres sur un LLM de taille modeste avec un réglage efficace des paramètres. Nous évaluons l'efficacité de FIAT sur une variété de tâches multilingues et observons que FIAT surpasse à la fois ICL et le réglage fin pour des échelles allant de 100 à 10 000 exemples d'entraînement. Nous espérons que FIAT offre une manière pratique d'exploiter tout le potentiel des LLM sans avoir à faire un choix difficile entre les paradigmes d'apprentissage.

English

Learning paradigms for large language models (LLMs) currently tend to fall within either in-context learning (ICL) or full fine-tuning. Each of these comes with their own trade-offs based on available data, model size, compute cost, ease-of-use, and final quality with neither solution performing well across-the-board. In this article, we first describe ICL and fine-tuning paradigms in a way that highlights their natural connections. Based on these connections, we propose a new learning paradigm called FIAT that fuses the best of these paradigms together, enabling prompt-engineered instructions and chain-of-thought reasoning with the very largest models while also using similar methods to perform parameter updates on a modestly-sized LLM with parameter-efficient tuning. We evaluate FIAT's effectiveness on a variety of multilingual tasks and observe that FIAT performs better than both ICL and fine-tuning at scales ranging from 100-10,000 training examples. We hope that FIAT provides a practical way of harnessing the full potential of LLMs without needing to make a hard choice between learning paradigms.