Oltre ai Contenuti della Richiesta: Migliorare le Prestazioni di LLM tramite Ottimizzazione Integrata della Richiesta di Formato dei Contenuti

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

Autori: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

Abstract

I Large Language Models (LLM) hanno dimostrato una significativa capacità in varie attività, con la loro efficacia nel mondo reale spesso determinata dal design del prompt. Mentre recenti ricerche si sono concentrate sull'ottimizzazione del contenuto del prompt, il ruolo della formattazione del prompt, una dimensione critica ma spesso trascurata, ha ricevuto una limitata investigazione sistematica. In questo articolo, presentiamo l' Ottimizzazione Integrata del Contenuto-Formato del Prompt (CFPO), una metodologia innovativa che ottimizza congiuntamente sia il contenuto che la formattazione del prompt attraverso un processo di perfezionamento iterativo. CFPO sfrutta le mutazioni del linguaggio naturale per esplorare variazioni del contenuto e utilizza una strategia di esplorazione del formato dinamica che valuta sistematicamente diverse opzioni di formato. Le nostre ampie valutazioni su varie attività e LLM open-source dimostrano che CFPO offre miglioramenti misurabili delle prestazioni rispetto ai metodi di ottimizzazione basati solo sul contenuto. Questo sottolinea l'importanza dell'ottimizzazione integrata del contenuto e del formato e offre un approccio pratico e indipendente dal modello per migliorare le prestazioni dei LLM. Il codice sarà disponibile su https://github.com/HenryLau7/CFPO.

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.