PAS : Système d'Augmentation de Prompt Plug-and-Play à Faible Consommation de Données

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

July 8, 2024

Auteurs: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou

cs.AI

Résumé

Ces dernières années, l'essor des modèles de langage de grande taille (LLMs) a stimulé une demande croissante pour des systèmes d'IA prêts à l'emploi. Parmi les diverses techniques d'IA, l'ingénierie des prompts se distingue comme particulièrement significative. Cependant, les utilisateurs rencontrent souvent des difficultés à rédiger des prompts en raison de la courbe d'apprentissage abrupte et du temps d'investissement important, et les modèles existants d'ingénierie automatique des prompts (APE) peuvent être difficiles à utiliser. Pour résoudre ce problème, nous proposons PAS, un système APE prêt à l'emploi basé sur des LLMs. PAS utilise des LLMs entraînés sur des ensembles de données complémentaires de prompts générés automatiquement et de haute qualité, ce qui se traduit par des performances exceptionnelles. Dans des benchmarks complets, PAS atteint des résultats de pointe (SoTA) par rapport aux modèles APE précédents, avec une amélioration moyenne de 6,09 points. De plus, PAS est très efficace, atteignant des performances SoTA avec seulement 9000 points de données. En outre, PAS peut générer de manière autonome des données d'augmentation de prompts sans nécessiter de travail humain supplémentaire. Sa flexibilité lui permet également d'être compatible avec tous les LLMs existants et applicable à un large éventail de tâches. PAS excelle dans les évaluations humaines, soulignant son adéquation en tant que module complémentaire pour les utilisateurs. Cette combinaison de haute performance, d'efficacité et de flexibilité fait de PAS un système précieux pour améliorer l'utilisabilité et l'efficacité des LLMs grâce à une meilleure ingénierie des prompts.

English

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.