Cappy: Превышение производительности и усиление крупных многозадачных языковых моделей с помощью компактного оценочного модуля

Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer

November 12, 2023

Авторы: Bowen Tan, Yun Zhu, Lijuan Liu, Eric Xing, Zhiting Hu, Jindong Chen

cs.AI

Аннотация

Крупные языковые модели (LLM), такие как T0, FLAN и OPT-IML, демонстрируют выдающиеся способности в многозадачности в рамках единой парадигмы следования инструкциям, а также проявляют замечательную способность к обобщению на незнакомые задачи. Несмотря на впечатляющую производительность, эти LLM, размер которых варьируется от нескольких миллиардов до сотен миллиардов параметров, требуют значительных вычислительных ресурсов, что делает их обучение и вывод дорогостоящими и неэффективными. Более того, адаптация этих моделей для решения прикладных задач, особенно сложных, часто оказывается невозможной из-за высоких требований к аппаратному обеспечению для тонкой настройки, даже при использовании параметрически эффективных подходов, таких как настройка промптов. Кроме того, наиболее мощные многозадачные LLM, такие как OPT-IML-175B и FLAN-PaLM-540B, не являются общедоступными, что существенно ограничивает их потенциал для кастомизации. Для решения этих проблем мы представляем предобученную небольшую модель-оценщик Cappy, разработанную для повышения производительности и эффективности многозадачных LLM. С всего лишь 360 миллионами параметров Cappy может работать независимо на задачах классификации или служить вспомогательным компонентом для LLM, повышая их производительность. Более того, Cappy позволяет эффективно интегрировать дополнительное обучение на целевых задачах без необходимости тонкой настройки LLM или доступа к их параметрам. Наши эксперименты показывают, что при независимой работе на 11 задачах понимания языка из PromptSource Cappy превосходит LLM, которые на несколько порядков больше. Кроме того, на 45 сложных задачах из BIG-Bench Cappy значительно повышает производительность передовой многозадачной LLM FLAN-T5. Более того, Cappy гибко взаимодействует с другими методами адаптации LLM, включая тонкую настройку и обучение в контексте, обеспечивая дополнительное улучшение производительности.

English

Large language models (LLMs) such as T0, FLAN, and OPT-IML, excel in multi-tasking under a unified instruction-following paradigm, where they also exhibit remarkable generalization abilities to unseen tasks. Despite their impressive performance, these LLMs, with sizes ranging from several billion to hundreds of billions of parameters, demand substantial computational resources, making their training and inference expensive and inefficient. Furthermore, adapting these models to downstream applications, particularly complex tasks, is often unfeasible due to the extensive hardware requirements for finetuning, even when utilizing parameter-efficient approaches such as prompt tuning. Additionally, the most powerful multi-task LLMs, such as OPT-IML-175B and FLAN-PaLM-540B, are not publicly accessible, severely limiting their customization potential. To address these challenges, we introduce a pretrained small scorer, Cappy, designed to enhance the performance and efficiency of multi-task LLMs. With merely 360 million parameters, Cappy functions either independently on classification tasks or serve as an auxiliary component for LLMs, boosting their performance. Moreover, Cappy enables efficiently integrating downstream supervision without requiring LLM finetuning nor the access to their parameters. Our experiments demonstrate that, when working independently on 11 language understanding tasks from PromptSource, Cappy outperforms LLMs that are several orders of magnitude larger. Besides, on 45 complex tasks from BIG-Bench, Cappy boosts the performance of the advanced multi-task LLM, FLAN-T5, by a large margin. Furthermore, Cappy is flexible to cooperate with other LLM adaptations, including finetuning and in-context learning, offering additional performance enhancement.