プロンプトの内容を超えて：コンテンツ形式統合型プロンプト最適化によるLLMパフォーマンスの向上

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

著者: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

要旨

大規模言語モデル（LLMs）は、さまざまなタスクで著しい能力を示しており、その実世界での効果はしばしばプロンプトの設計によって決定されます。最近の研究は、プロンプトの内容を最適化することに焦点を当ててきましたが、重要ながらもしばしば見過ごされがちなプロンプトのフォーマットについての役割は、限られた体系的な調査しか受けていませんでした。本論文では、コンテンツ-フォーマット 統合プロンプト最適化（CFPO）という革新的な方法論を紹介し、反復的な洗練プロセスを通じてプロンプトの内容とフォーマットの両方を共同で最適化する方法を提案します。CFPOは、自然言語の変異を活用してコンテンツの変化を探索し、多様なフォーマットオプションを体系的に評価する動的フォーマット探索戦略を採用しています。複数のタスクとオープンソースのLLMsを対象とした幅広い評価により、CFPOがコンテンツのみを最適化する方法と比較して測定可能なパフォーマンス向上を実証しています。これは、統合されたコンテンツ-フォーマット最適化の重要性を強調し、LLMのパフォーマンス向上に向けた実用的でモデルに依存しないアプローチを提供しています。コードはhttps://github.com/HenryLau7/CFPO で入手可能です。

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.