PAS: Sistema Plug-and-Play di Aumento dei Prompt Efficace nei Dati

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

July 8, 2024

Autori: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou

cs.AI

Abstract

Negli ultimi anni, l'ascesa dei Large Language Models (LLM) ha stimolato una crescente domanda di sistemi AI plug-and-play. Tra le varie tecniche di intelligenza artificiale, l'ingegneria dei prompt si distingue per la sua particolare rilevanza. Tuttavia, gli utenti spesso incontrano difficoltà nella scrittura dei prompt a causa della curva di apprendimento ripida e del significativo investimento di tempo richiesto, e i modelli esistenti di ingegneria automatica dei prompt (APE) possono risultare di difficile utilizzo. Per affrontare questo problema, proponiamo PAS, un sistema APE plug-and-play basato su LLM. PAS utilizza LLM addestrati su dataset di prompt complementari generati automaticamente e di alta qualità, ottenendo prestazioni eccezionali. In benchmark completi, PAS raggiunge risultati state-of-the-art (SoTA) rispetto ai precedenti modelli APE, con un miglioramento medio di 6,09 punti. Inoltre, PAS è altamente efficiente, raggiungendo prestazioni SoTA con soli 9000 punti dati. In aggiunta, PAS può generare autonomamente dati di aumento dei prompt senza richiedere ulteriore lavoro umano. La sua flessibilità gli permette anche di essere compatibile con tutti gli LLM esistenti e applicabile a un'ampia gamma di task. PAS eccelle nelle valutazioni umane, sottolineando la sua idoneità come plug-in per gli utenti. Questa combinazione di alte prestazioni, efficienza e flessibilità rende PAS un sistema prezioso per migliorare l'usabilità e l'efficacia degli LLM attraverso un'ingegneria dei prompt ottimizzata.

English

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.