PAS: データ効率型プラグアンドプレイプロンプト拡張システム

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

July 8, 2024

著者: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou

cs.AI

要旨

近年、大規模言語モデル（LLM）の台頭に伴い、プラグアンドプレイ型AIシステムへの需要が高まっています。さまざまなAI技術の中でも、プロンプトエンジニアリングは特に重要な役割を果たしています。しかし、ユーザーは学習曲線の急勾配や多大な時間投資のためにプロンプト作成に苦労することが多く、既存の自動プロンプトエンジニアリング（APE）モデルも使いにくい場合があります。この問題を解決するため、我々はLLMベースのプラグアンドプレイ型APEシステムであるPASを提案します。PASは、高品質で自動生成されたプロンプト補完データセットで訓練されたLLMを活用し、優れた性能を発揮します。包括的なベンチマークにおいて、PASは従来のAPEモデルと比較して平均6.09ポイントの改善を示し、最先端（SoTA）の結果を達成しました。さらに、PASは非常に効率的で、わずか9000のデータポイントでSoTA性能を実現しています。加えて、PASは追加の人的労力を必要とせずに、自律的にプロンプト拡張データを生成することが可能です。その柔軟性により、既存のすべてのLLMと互換性があり、幅広いタスクに適用できます。PASは人間による評価においても優れた結果を示し、ユーザー向けのプラグインとしての適性を裏付けています。この高い性能、効率性、柔軟性を兼ね備えたPASは、プロンプトエンジニアリングの改善を通じてLLMの使いやすさと効果を高めるための貴重なシステムです。

English

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.