Небольшие модели являются ценными дополнениями для крупных языковых моделей.
Small Models are Valuable Plug-ins for Large Language Models
May 15, 2023
Авторы: Canwen Xu, Yichong Xu, Shuohang Wang, Yang Liu, Chenguang Zhu, Julian McAuley
cs.AI
Аннотация
Крупные языковые модели (LLM), такие как GPT-3 и GPT-4, обладают высокой мощностью, однако их веса часто недоступны публично, а огромные размеры моделей делают их настройку на стандартном оборудовании затруднительной. В результате эффективная настройка этих моделей с использованием крупномасштабных размеченных данных может быть сложной задачей. В качестве альтернативы, обучение в контексте (In-Context Learning, ICL) позволяет использовать лишь небольшое количество размеченных примеров из-за ограничений на длину контекста. В данной работе мы предлагаем метод Super In-Context Learning (SuperICL), который позволяет чернобоксным LLM взаимодействовать с локально настроенными меньшими моделями, что приводит к превосходной производительности на задачах с размеченными данными. Наши эксперименты показывают, что SuperICL может улучшить производительность по сравнению с современными настроенными моделями, одновременно решая проблему нестабильности обучения в контексте. Кроме того, SuperICL способен расширять возможности меньших моделей, такие как многоязычность и интерпретируемость.
English
Large language models (LLMs) such as GPT-3 and GPT-4 are powerful but their
weights are often publicly unavailable and their immense sizes make the models
difficult to be tuned with common hardware. As a result, effectively tuning
these models with large-scale supervised data can be challenging. As an
alternative, In-Context Learning (ICL) can only use a small number of
supervised examples due to context length limits. In this paper, we propose
Super In-Context Learning (SuperICL) which allows black-box LLMs to work with
locally fine-tuned smaller models, resulting in superior performance on
supervised tasks. Our experiments demonstrate that SuperICL can improve
performance beyond state-of-the-art fine-tuned models while addressing the
instability problem of in-context learning. Furthermore, SuperICL can enhance
the capabilities of smaller models, such as multilinguality and
interpretability.