Au-delà du contenu de l'invite : Amélioration des performances de LLM via l'optimisation intégrée de l'invite de format de contenu

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

Auteurs: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

Résumé

Les grands modèles de langage (LLM) ont montré une capacité significative dans diverses tâches, leur efficacité réelle étant souvent déterminée par la conception de l'invite. Alors que les recherches récentes se sont concentrées sur l'optimisation du contenu de l'invite, le rôle de la mise en forme de l'invite, une dimension critique mais souvent négligée, a fait l'objet d'investigations systématiques limitées. Dans cet article, nous présentons l'Optimisation Intégrée de Contenu et de Format d'Invite (CFPO), une méthodologie innovante qui optimise conjointement à la fois le contenu et la mise en forme de l'invite à travers un processus de raffinement itératif. CFPO exploite les mutations de langage naturel pour explorer les variations de contenu et utilise une stratégie d'exploration de format dynamique qui évalue systématiquement diverses options de format. Nos évaluations approfondies sur plusieurs tâches et LLM open-source démontrent que CFPO présente des améliorations de performance mesurables par rapport aux méthodes d'optimisation basées uniquement sur le contenu. Cela souligne l'importance de l'optimisation intégrée du contenu et du format et propose une approche pratique et indépendante du modèle pour améliorer les performances des LLM. Le code sera disponible sur https://github.com/HenryLau7/CFPO.

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.