TART: Een plug-and-play Transformermodule voor taakonafhankelijk redeneren

TART: A plug-and-play Transformer module for task-agnostic reasoning

June 13, 2023

Auteurs: Kush Bhatia, Avanika Narayan, Christopher De Sa, Christopher Ré

cs.AI

Samenvatting

Grote taalmodellen (LLM's) vertonen in-context leervaardigheden die hetzelfde model in staat stellen om verschillende taken uit te voeren zonder taakspecifieke training. Traditionele aanpassingsbenaderingen, zoals fine-tuning, passen daarentegen de onderliggende modellen aan voor elke specifieke taak. In-context leren presteert echter consistent minder goed dan taakspecifieke afstemmingsbenaderingen, zelfs wanneer dezelfde voorbeelden worden gepresenteerd. Terwijl de meeste bestaande benaderingen (bijvoorbeeld prompt engineering) zich richten op de geleerde representaties van het LLM om deze prestatiekloof te dichten, laat onze analyse juist zien dat de representaties van LLM's voldoende informatie bevatten om goede voorspellingen te maken. Daarom richten wij ons op de redeneervaardigheden van het LLM en tonen aan dat deze prestatiekloof bestaat vanwege hun onvermogen om eenvoudige probabilistische redeneertaken uit te voeren. Dit roept een intrigerende vraag op: Zijn LLM's eigenlijk in staat om op een taakonafhankelijke manier te leren redeneren? Wij beantwoorden dit bevestigend en stellen TART voor, dat op generieke wijze de redeneervaardigheden van een LLM verbetert door gebruik te maken van een synthetisch getraind Transformer-gebaseerd redeneermodule. TART traint dit redeneermodule op een taakonafhankelijke manier met alleen synthetische logistische regressietaken en combineert het met een willekeurig vooraf getraind model uit de echte wereld zonder aanvullende training. Met een enkel inferentiemodule verbetert TART de prestaties over verschillende modelfamilies (GPT-Neo, Pythia, BLOOM), modelgroottes (100M - 6B), taken (14 NLP binaire classificatietaken), en zelfs over verschillende modaliteiten (audio en visie). Daarnaast verbetert TART op de RAFT Benchmark de prestaties van GPT-Neo (125M) zodanig dat het BLOOM (176B) overtreft, en binnen 4% van GPT-3 (175B) blijft. Onze code en modellen zijn beschikbaar op https://github.com/HazyResearch/TART.

English

Large language models (LLMs) exhibit in-context learning abilities which enable the same model to perform several tasks without any task-specific training. In contrast, traditional adaptation approaches, such as fine-tuning, modify the underlying models for each specific task. In-context learning, however, consistently underperforms task-specific tuning approaches even when presented with the same examples. While most existing approaches (e.g., prompt engineering) focus on the LLM's learned representations to patch this performance gap, our analysis actually reveal that LLM representations contain sufficient information to make good predictions. As such, we focus on the LLM's reasoning abilities and demonstrate that this performance gap exists due to their inability to perform simple probabilistic reasoning tasks. This raises an intriguing question: Are LLMs actually capable of learning how to reason in a task-agnostic manner? We answer this in the affirmative and propose TART which generically improves an LLM's reasoning abilities using a synthetically trained Transformer-based reasoning module. TART trains this reasoning module in a task-agnostic manner using only synthetic logistic regression tasks and composes it with an arbitrary real-world pre-trained model without any additional training. With a single inference module, TART improves performance across different model families (GPT-Neo, Pythia, BLOOM), model sizes (100M - 6B), tasks (14 NLP binary classification tasks), and even across different modalities (audio and vision). Additionally, on the RAFT Benchmark, TART improves GPT-Neo (125M)'s performance such that it outperforms BLOOM (176B), and is within 4% of GPT-3 (175B). Our code and models are available at https://github.com/HazyResearch/TART .