PAS: Data-efficiënt Plug-and-Play Prompt Augmentatie Systeem
PAS: Data-Efficient Plug-and-Play Prompt Augmentation System
July 8, 2024
Auteurs: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou
cs.AI
Samenvatting
In de afgelopen jaren heeft de opkomst van Large Language Models (LLM's) een groeiende vraag naar plug-and-play AI-systemen gestimuleerd. Onder de verschillende AI-technieken springt prompt engineering eruit als bijzonder belangrijk. Gebruikers ondervinden echter vaak uitdagingen bij het schrijven van prompts vanwege de steile leercurve en de aanzienlijke tijdsinvestering, en bestaande automatische prompt engineering (APE) modellen kunnen moeilijk in gebruik zijn. Om dit probleem aan te pakken, stellen we PAS voor, een LLM-gebaseerd plug-and-play APE-systeem. PAS maakt gebruik van LLM's die zijn getraind op hoogwaardige, automatisch gegenereerde prompt complementaire datasets, wat resulteert in uitzonderlijke prestaties. In uitgebreide benchmarks behaalt PAS state-of-the-art (SoTA) resultaten in vergelijking met eerdere APE-modellen, met een gemiddelde verbetering van 6,09 punten. Bovendien is PAS zeer efficiënt en bereikt het SoTA-prestaties met slechts 9000 datapunten. Daarnaast kan PAS autonoom prompt augmentatiegegevens genereren zonder extra menselijke arbeid te vereisen. De flexibiliteit ervan maakt het ook compatibel met alle bestaande LLM's en toepasbaar op een breed scala aan taken. PAS blinkt uit in menselijke evaluaties, wat de geschiktheid ervan als plug-in voor gebruikers onderstreept. Deze combinatie van hoge prestaties, efficiëntie en flexibiliteit maakt PAS een waardevol systeem voor het verbeteren van de bruikbaarheid en effectiviteit van LLM's door middel van verbeterde prompt engineering.
English
In recent years, the rise of Large Language Models (LLMs) has spurred a
growing demand for plug-and-play AI systems. Among the various AI techniques,
prompt engineering stands out as particularly significant. However, users often
face challenges in writing prompts due to the steep learning curve and
significant time investment, and existing automatic prompt engineering (APE)
models can be difficult to use. To address this issue, we propose PAS, an
LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality,
automatically generated prompt complementary datasets, resulting in exceptional
performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA)
results compared to previous APE models, with an average improvement of 6.09
points. Moreover, PAS is highly efficient, achieving SoTA performance with only
9000 data points. Additionally, PAS can autonomously generate prompt
augmentation data without requiring additional human labor. Its flexibility
also allows it to be compatible with all existing LLMs and applicable to a wide
range of tasks. PAS excels in human evaluations, underscoring its suitability
as a plug-in for users. This combination of high performance, efficiency, and
flexibility makes PAS a valuable system for enhancing the usability and
effectiveness of LLMs through improved prompt engineering.