Über den Prompt-Inhalt hinaus: Verbesserung der Leistung von LLM durch die Optimierung von Prompts mit integriertem Inhaltsformat.

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

Autoren: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben eine signifikante Leistungsfähigkeit bei verschiedenen Aufgaben gezeigt, wobei ihre Effektivität in der realen Welt oft durch das Design des Eingabereizes bestimmt wird. Während sich die jüngste Forschung auf die Optimierung des Eingabereizinhalts konzentriert hat, hat die Rolle der Eingabereizformatierung, eine kritische, aber oft übersehene Dimension, nur begrenzte systematische Untersuchungen erhalten. In diesem Paper stellen wir Content-Format Integrated Prompt Optimization (CFPO) vor, eine innovative Methodik, die sowohl den Eingabereizinhalt als auch die Formatierung durch einen iterativen Verfeinerungsprozess gemeinsam optimiert. CFPO nutzt natürliche Sprachmutationen, um Inhaltsvariationen zu erkunden, und setzt eine dynamische Formatexplorationsstrategie ein, die systematisch verschiedene Formatoptionen bewertet. Unsere umfangreichen Evaluationen über mehrere Aufgaben und Open-Source LLMs zeigen, dass CFPO messbare Leistungsverbesserungen im Vergleich zu reinen Inhaltsoptimierungsmethoden aufzeigt. Dies unterstreicht die Bedeutung der integrierten Inhalts-Format-Optimierung und bietet einen praktischen, modellunabhängigen Ansatz zur Verbesserung der LLM-Leistung. Der Code wird unter https://github.com/HenryLau7/CFPO verfügbar sein.

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.