PAS: Система увеличения запросов Plug-and-Play с эффективным использованием данных

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

July 8, 2024

Авторы: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou

cs.AI

Аннотация

В последние годы взлет популярности Больших Языковых Моделей (БЯМ) стимулировал растущий спрос на системы искусственного интеллекта "включи и играй". Среди различных техник искусственного интеллекта выделяется инженерия подсказок как особенно значимая. Однако пользователи часто сталкиваются с трудностями в написании подсказок из-за крутого кривого обучения и значительных временных затрат, а существующие модели автоматической инженерии подсказок (АИП) могут быть сложны в использовании. Для решения этой проблемы мы предлагаем PAS, систему автоматической инженерии подсказок на основе БЯМ "включи и играй". PAS использует БЯМ, обученные на высококачественных, автоматически сгенерированных наборах данных, дополняющих подсказки, что приводит к исключительной производительности. В комплексных тестах PAS достигает результатов, соответствующих последнему слову техники (SoTA) по сравнению с предыдущими моделями АИП, с средним улучшением в 6,09 пункта. Более того, PAS является высокоэффективной, достигая SoTA производительности всего с 9000 точек данных. Кроме того, PAS может автономно генерировать данные для увеличения подсказок без дополнительного человеческого труда. Его гибкость также позволяет ему быть совместимым со всеми существующими БЯМ и применимым к широкому спектру задач. PAS выделяется в человеческих оценках, подчеркивая его пригодность в качестве плагина для пользователей. Это сочетание высокой производительности, эффективности и гибкости делает PAS ценной системой для улучшения удобства и эффективности БЯМ через улучшенную инженерию подсказок.

English

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.