Voorbij Promptinhoud: Het verbeteren van LLM-prestaties via Promptoptimalisatie geïntegreerd met inhoudsopmaak.

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

Auteurs: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben aanzienlijke capaciteiten getoond bij verschillende taken, waarbij hun effectiviteit in de praktijk vaak wordt bepaald door de vormgeving van de instructie. Terwijl recent onderzoek zich heeft gericht op het optimaliseren van de inhoud van de instructie, heeft de rol van de vormgeving van de instructie, een kritische maar vaak over het hoofd geziene dimensie, beperkte systematische aandacht gekregen. In dit artikel introduceren we Content-Format Geïntegreerde Instructieoptimalisatie (CFPO), een innovatieve methodologie die zowel de inhoud als de vormgeving van de instructie gezamenlijk optimaliseert door middel van een iteratief verfijningsproces. CFPO maakt gebruik van natuurlijke taalmutaties om inhoudsvariaties te verkennen en past een dynamische vormverkenningstrategie toe die diverse vormopties systematisch evalueert. Onze uitgebreide evaluaties over meerdere taken en open-source LLM's tonen aan dat CFPO meetbare prestatieverbeteringen laat zien in vergelijking met methoden die alleen de inhoud optimaliseren. Dit benadrukt het belang van geïntegreerde inhoud-vorm optimalisatie en biedt een praktische, model-agnostische benadering om de prestaties van LLM's te verbeteren. De code zal beschikbaar zijn op https://github.com/HenryLau7/CFPO.

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.