Más allá del contenido de la sugerencia: Mejora del rendimiento de LLM a través de la optimización integrada de la sugerencia de formato de contenido.

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

Autores: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs) han demostrado una capacidad significativa en diversas tareas, con su efectividad en el mundo real a menudo impulsada por el diseño de la indicación. Mientras que la investigación reciente se ha centrado en optimizar el contenido de la indicación, el papel del formato de la indicación, una dimensión crítica pero a menudo pasada por alto, ha recibido una investigación sistemática limitada. En este documento, presentamos la Optimización Integrada de Contenido-Formato de la Indicación (CFPO), una metodología innovadora que optimiza conjuntamente tanto el contenido como el formato de la indicación a través de un proceso de refinamiento iterativo. CFPO aprovecha las mutaciones del lenguaje natural para explorar variaciones de contenido y emplea una estrategia dinámica de exploración de formato que evalúa sistemáticamente diversas opciones de formato. Nuestras extensas evaluaciones en diversas tareas y LLMs de código abierto demuestran que CFPO muestra mejoras de rendimiento medibles en comparación con los métodos de optimización solo de contenido. Esto resalta la importancia de la optimización integrada de contenido-formato y ofrece un enfoque práctico y agnóstico del modelo para mejorar el rendimiento de los LLMs. El código estará disponible en https://github.com/HenryLau7/CFPO.

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.