Cappy: Superare e Potenziare Modelli Linguistici Multi-Task di Grandi Dimensioni con un Piccolo Scorer

Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer

November 12, 2023

Autori: Bowen Tan, Yun Zhu, Lijuan Liu, Eric Xing, Zhiting Hu, Jindong Chen

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) come T0, FLAN e OPT-IML eccellono nel multitasking all'interno di un paradigma unificato di esecuzione di istruzioni, dimostrando anche notevoli capacità di generalizzazione su compiti non visti. Nonostante le loro prestazioni impressionanti, questi LLM, con dimensioni che vanno da diversi miliardi a centinaia di miliardi di parametri, richiedono risorse computazionali sostanziali, rendendo il loro addestramento e inferenza costosi e inefficienti. Inoltre, l'adattamento di questi modelli ad applicazioni downstream, in particolare compiti complessi, è spesso impraticabile a causa degli estesi requisiti hardware per il fine-tuning, anche quando si utilizzano approcci efficienti in termini di parametri come il prompt tuning. In aggiunta, i più potenti LLM multitasking, come OPT-IML-175B e FLAN-PaLM-540B, non sono accessibili pubblicamente, limitando fortemente il loro potenziale di personalizzazione. Per affrontare queste sfide, introduciamo un piccolo modello preaddestrato, Cappy, progettato per migliorare le prestazioni e l'efficienza degli LLM multitasking. Con appena 360 milioni di parametri, Cappy funziona in modo indipendente su compiti di classificazione o serve come componente ausiliario per gli LLM, migliorando le loro prestazioni. Inoltre, Cappy consente di integrare efficientemente la supervisione downstream senza richiedere il fine-tuning degli LLM né l'accesso ai loro parametri. I nostri esperimenti dimostrano che, operando in modo indipendente su 11 compiti di comprensione del linguaggio di PromptSource, Cappy supera gli LLM che sono di diversi ordini di grandezza più grandi. Inoltre, su 45 compiti complessi di BIG-Bench, Cappy migliora significativamente le prestazioni dell'avanzato LLM multitasking FLAN-T5. Inoltre, Cappy è flessibile nel cooperare con altri adattamenti di LLM, incluso il fine-tuning e l'apprendimento in contesto, offrendo un ulteriore miglioramento delle prestazioni.

English

Large language models (LLMs) such as T0, FLAN, and OPT-IML, excel in multi-tasking under a unified instruction-following paradigm, where they also exhibit remarkable generalization abilities to unseen tasks. Despite their impressive performance, these LLMs, with sizes ranging from several billion to hundreds of billions of parameters, demand substantial computational resources, making their training and inference expensive and inefficient. Furthermore, adapting these models to downstream applications, particularly complex tasks, is often unfeasible due to the extensive hardware requirements for finetuning, even when utilizing parameter-efficient approaches such as prompt tuning. Additionally, the most powerful multi-task LLMs, such as OPT-IML-175B and FLAN-PaLM-540B, are not publicly accessible, severely limiting their customization potential. To address these challenges, we introduce a pretrained small scorer, Cappy, designed to enhance the performance and efficiency of multi-task LLMs. With merely 360 million parameters, Cappy functions either independently on classification tasks or serve as an auxiliary component for LLMs, boosting their performance. Moreover, Cappy enables efficiently integrating downstream supervision without requiring LLM finetuning nor the access to their parameters. Our experiments demonstrate that, when working independently on 11 language understanding tasks from PromptSource, Cappy outperforms LLMs that are several orders of magnitude larger. Besides, on 45 complex tasks from BIG-Bench, Cappy boosts the performance of the advanced multi-task LLM, FLAN-T5, by a large margin. Furthermore, Cappy is flexible to cooperate with other LLM adaptations, including finetuning and in-context learning, offering additional performance enhancement.