Превосходство содержания запроса: улучшение производительности LLM через оптимизацию запроса с интегрированным форматом содержания.

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

Авторы: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали значительные возможности в различных задачах, причем их эффективность в реальном мире часто зависит от дизайна подсказки. В то время как недавние исследования сосредоточены на оптимизации содержания подсказки, роль форматирования подсказки, критического, но часто пренебрегаемого аспекта, получила ограниченное систематическое изучение. В данной статье мы представляем методологию Content-Format Integrated Prompt Optimization (CFPO), инновационный подход, который совместно оптимизирует как содержание подсказки, так и ее форматирование через итеративный процесс уточнения. CFPO использует естественные мутации языка для исследования вариаций содержания и применяет динамическую стратегию исследования формата, которая систематически оценивает различные варианты формата. Наши обширные оценки на различных задачах и открытых LLM показывают, что CFPO демонстрирует измеримое улучшение производительности по сравнению с методами оптимизации только содержания. Это подчеркивает важность интегрированной оптимизации содержания и формата и предлагает практический, модельно-независимый подход к улучшению производительности LLM. Код будет доступен по ссылке https://github.com/HenryLau7/CFPO.

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.