Além do Conteúdo do Prompt: Melhorando o Desempenho do LLM por meio da Otimização Integrada do Prompt de Formato de Conteúdo

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

Autores: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado uma capacidade significativa em várias tarefas, sendo a sua eficácia no mundo real frequentemente impulsionada pelo design do prompt. Enquanto pesquisas recentes têm se concentrado na otimização do conteúdo do prompt, o papel da formatação do prompt, uma dimensão crítica, mas frequentemente negligenciada, tem recebido investigação sistemática limitada. Neste artigo, apresentamos a Otimização Integrada de Conteúdo e Formato do Prompt (CFPO), uma metodologia inovadora que otimiza em conjunto tanto o conteúdo quanto a formatação do prompt por meio de um processo de refinamento iterativo. O CFPO utiliza mutações de linguagem natural para explorar variações de conteúdo e emprega uma estratégia dinâmica de exploração de formatos que avalia sistematicamente diversas opções de formato. Nossas extensas avaliações em várias tarefas e LLMs de código aberto demonstram que o CFPO apresenta melhorias mensuráveis de desempenho em comparação com métodos de otimização apenas de conteúdo. Isso destaca a importância da otimização integrada de conteúdo e formato e oferece uma abordagem prática e independente de modelo para aprimorar o desempenho dos LLMs. O código estará disponível em https://github.com/HenryLau7/CFPO.

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.