Qu'est-ce qui fait une bonne incitation en langage naturel ?

What Makes a Good Natural Language Prompt?

June 7, 2025

Auteurs: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, Kenji Kawaguchi, Nancy F. Chen, Shafiq Joty, Min-Yen Kan

cs.AI

Résumé

Alors que les grands modèles de langage (LLM) ont progressé vers des communications plus humaines et que les interactions homme-IA sont devenues omniprésentes, l'art de formuler des prompts s'est imposé comme un élément décisif. Cependant, il existe un consensus conceptuel limité sur ce qui quantifie précisément les prompts en langage naturel. Nous tentons de répondre à cette question en réalisant une méta-analyse examinant plus de 150 articles liés aux prompts issus de conférences majeures en NLP et IA de 2022 à 2025, ainsi que des blogs. Nous proposons un cadre d'évaluation de la qualité des prompts centré sur les propriétés et l'humain, englobant 21 propriétés réparties en six dimensions. Nous examinons ensuite comment les études existantes évaluent leur impact sur les LLM, révélant un soutien déséquilibré à travers les modèles et les tâches, ainsi que des lacunes de recherche substantielles. De plus, nous analysons les corrélations entre les propriétés dans les prompts de langage naturel de haute qualité, en dérivant des recommandations pour la formulation des prompts. Nous explorons ensuite empiriquement les améliorations multi-propriétés des prompts dans des tâches de raisonnement, observant que les améliorations mono-propriété ont souvent le plus grand impact. Enfin, nous découvrons que l'ajustement par instruction sur des prompts améliorés par propriétés peut aboutir à des modèles de raisonnement plus performants. Nos résultats établissent une base pour l'évaluation et l'optimisation des prompts centrés sur les propriétés, comblant les lacunes dans les communications homme-IA et ouvrant de nouvelles directions de recherche sur les prompts.

English

As large language models (LLMs) have progressed towards more human-like and human--AI communications have become prevalent, prompting has emerged as a decisive component. However, there is limited conceptual consensus on what exactly quantifies natural language prompts. We attempt to address this question by conducting a meta-analysis surveying more than 150 prompting-related papers from leading NLP and AI conferences from 2022 to 2025 and blogs. We propose a property- and human-centric framework for evaluating prompt quality, encompassing 21 properties categorized into six dimensions. We then examine how existing studies assess their impact on LLMs, revealing their imbalanced support across models and tasks, and substantial research gaps. Further, we analyze correlations among properties in high-quality natural language prompts, deriving prompting recommendations. We then empirically explore multi-property prompt enhancements in reasoning tasks, observing that single-property enhancements often have the greatest impact. Finally, we discover that instruction-tuning on property-enhanced prompts can result in better reasoning models. Our findings establish a foundation for property-centric prompt evaluation and optimization, bridging the gaps between human--AI communication and opening new prompting research directions.