PAS: 데이터 효율적인 플러그 앤드 플레이 프롬프트 증강 시스템

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

July 8, 2024

저자: Miao Zheng, Hao Liang, Fan Yang, Haoze Sun, Tianpeng Li, Lingchu Xiong, Yan Zhang, Yozhen Wu, Kun Li, Yanjun Sheng, Mingan Lin, Tao Zhang, Guosheng Dong, Yujing Qiao, Kun Fang, Weipeng Chen, Bin Cui, Wentao Zhang, Zenan Zhou

cs.AI

초록

최근 대규모 언어 모델(LLM)의 부상으로 인해 플러그 앤 플레이(plug-and-play) AI 시스템에 대한 수요가 증가하고 있다. 다양한 AI 기술 중에서 프롬프트 엔지니어링은 특히 중요한 역할을 하고 있다. 그러나 사용자들은 프롬프트 작성에 있어 높은 학습 곡선과 상당한 시간 투자로 인해 어려움을 겪고 있으며, 기존의 자동 프롬프트 엔지니어링(APE) 모델들은 사용하기 어려운 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 LLM 기반의 플러그 앤 플레이 APE 시스템인 PAS를 제안한다. PAS는 고품질의 자동 생성 프롬프트 보완 데이터셋으로 학습된 LLM을 활용하여 탁월한 성능을 보인다. 포괄적인 벤치마크에서 PAS는 기존 APE 모델들과 비교하여 평균 6.09점의 향상을 이루며 최신 기술 수준(SoTA)의 결과를 달성했다. 또한 PAS는 단 9000개의 데이터 포인트만으로도 SoTA 성능을 달성할 만큼 매우 효율적이다. 더불어 PAS는 추가적인 인간 노동 없이도 프롬프트 증강 데이터를 자율적으로 생성할 수 있다. 그 유연성 덕분에 모든 기존 LLM과 호환되며 다양한 작업에 적용 가능하다. PAS는 인간 평가에서도 우수한 성적을 거두며, 사용자를 위한 플러그인으로서의 적합성을 입증했다. 이러한 높은 성능, 효율성, 유연성의 조합은 PAS를 통해 개선된 프롬프트 엔지니어링으로 LLM의 사용성과 효과성을 높이는 데 있어 가치 있는 시스템으로 만든다.

English

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.