Cosa Rende un Buon Prompt in Linguaggio Naturale?

What Makes a Good Natural Language Prompt?

June 7, 2025

Autori: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, Kenji Kawaguchi, Nancy F. Chen, Shafiq Joty, Min-Yen Kan

cs.AI

Abstract

Man mano che i modelli linguistici di grandi dimensioni (LLM) hanno progredito verso comunicazioni più simili a quelle umane e le interazioni uomo-IA sono diventate prevalenti, il prompting è emerso come un componente decisivo. Tuttavia, esiste un consenso concettuale limitato su cosa esattamente quantifichi i prompt in linguaggio naturale. Cerchiamo di affrontare questa questione conducendo una meta-analisi che esamina oltre 150 articoli relativi al prompting provenienti dalle principali conferenze di NLP e IA dal 2022 al 2025 e da blog. Proponiamo un framework centrato sulle proprietà e sull'uomo per valutare la qualità dei prompt, che comprende 21 proprietà categorizzate in sei dimensioni. Esaminiamo poi come gli studi esistenti valutano il loro impatto sugli LLM, rivelando un supporto squilibrato tra modelli e task, e significative lacune di ricerca. Inoltre, analizziamo le correlazioni tra le proprietà nei prompt di linguaggio naturale di alta qualità, derivando raccomandazioni per il prompting. Esploriamo empiricamente i miglioramenti dei prompt multi-proprietà nei task di ragionamento, osservando che i miglioramenti a singola proprietà spesso hanno il maggiore impatto. Infine, scopriamo che l'instruction-tuning su prompt potenziati con proprietà può portare a modelli di ragionamento migliori. I nostri risultati stabiliscono una base per la valutazione e l'ottimizzazione dei prompt centrati sulle proprietà, colmando le lacune tra le comunicazioni uomo-IA e aprendo nuove direzioni di ricerca sul prompting.

English

As large language models (LLMs) have progressed towards more human-like and human--AI communications have become prevalent, prompting has emerged as a decisive component. However, there is limited conceptual consensus on what exactly quantifies natural language prompts. We attempt to address this question by conducting a meta-analysis surveying more than 150 prompting-related papers from leading NLP and AI conferences from 2022 to 2025 and blogs. We propose a property- and human-centric framework for evaluating prompt quality, encompassing 21 properties categorized into six dimensions. We then examine how existing studies assess their impact on LLMs, revealing their imbalanced support across models and tasks, and substantial research gaps. Further, we analyze correlations among properties in high-quality natural language prompts, deriving prompting recommendations. We then empirically explore multi-property prompt enhancements in reasoning tasks, observing that single-property enhancements often have the greatest impact. Finally, we discover that instruction-tuning on property-enhanced prompts can result in better reasoning models. Our findings establish a foundation for property-centric prompt evaluation and optimization, bridging the gaps between human--AI communication and opening new prompting research directions.