FIAT: Fusione di paradigmi di apprendimento con Sintonizzazione Accelerata da Istruzioni

FIAT: Fusing learning paradigms with Instruction-Accelerated Tuning

September 9, 2023

Autori: Xinyi Wang, John Wieting, Jonathan H. Clark

cs.AI

Abstract

I paradigmi di apprendimento per i grandi modelli linguistici (LLM) attualmente tendono a rientrare nell'apprendimento in contesto (ICL) o nella messa a punto completa (fine-tuning). Ciascuno di questi approcci presenta dei compromessi basati sui dati disponibili, sulla dimensione del modello, sui costi computazionali, sulla facilità d'uso e sulla qualità finale, senza che nessuna soluzione si dimostri ottimale in tutte le situazioni. In questo articolo, descriviamo prima i paradigmi ICL e fine-tuning in modo da evidenziare le loro connessioni naturali. Sulla base di queste connessioni, proponiamo un nuovo paradigma di apprendimento chiamato FIAT che combina il meglio di questi approcci, consentendo l'uso di istruzioni ingegnerizzate tramite prompt e il ragionamento a catena di pensiero (chain-of-thought) con i modelli più grandi, mentre utilizza metodi simili per aggiornare i parametri di un LLM di dimensioni moderate con una messa a punto efficiente dei parametri. Valutiamo l'efficacia di FIAT su una varietà di task multilingue e osserviamo che FIAT supera sia ICL che fine-tuning su scale che vanno da 100 a 10.000 esempi di addestramento. Speriamo che FIAT offra un modo pratico per sfruttare appieno il potenziale degli LLM senza dover fare una scelta difficile tra i paradigmi di apprendimento.

English

Learning paradigms for large language models (LLMs) currently tend to fall within either in-context learning (ICL) or full fine-tuning. Each of these comes with their own trade-offs based on available data, model size, compute cost, ease-of-use, and final quality with neither solution performing well across-the-board. In this article, we first describe ICL and fine-tuning paradigms in a way that highlights their natural connections. Based on these connections, we propose a new learning paradigm called FIAT that fuses the best of these paradigms together, enabling prompt-engineered instructions and chain-of-thought reasoning with the very largest models while also using similar methods to perform parameter updates on a modestly-sized LLM with parameter-efficient tuning. We evaluate FIAT's effectiveness on a variety of multilingual tasks and observe that FIAT performs better than both ICL and fine-tuning at scales ranging from 100-10,000 training examples. We hope that FIAT provides a practical way of harnessing the full potential of LLMs without needing to make a hard choice between learning paradigms.