Wat Maakt een Goede Prompt voor Natuurlijke Taal?

What Makes a Good Natural Language Prompt?

June 7, 2025

Auteurs: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, Kenji Kawaguchi, Nancy F. Chen, Shafiq Joty, Min-Yen Kan

cs.AI

Samenvatting

Naarmate grote taalmodellen (LLMs) zijn geëvolueerd naar meer mensachtige communicatie en mens-AI-interacties steeds gebruikelijker zijn geworden, is prompting naar voren gekomen als een beslissend onderdeel. Er bestaat echter beperkte conceptuele consensus over wat precies natuurlijke taalprompts kwantificeert. Wij proberen deze vraag te beantwoorden door een meta-analyse uit te voeren van meer dan 150 prompting-gerelateerde papers uit toonaangevende NLP- en AI-conferenties van 2022 tot 2025 en blogs. Wij stellen een eigenschap- en mensgericht raamwerk voor om de kwaliteit van prompts te evalueren, waarbij 21 eigenschappen in zes dimensies worden onderverdeeld. Vervolgens onderzoeken wij hoe bestaande studies hun impact op LLMs beoordelen, wat een ongelijke ondersteuning over modellen en taken aan het licht brengt, evenals aanzienlijke onderzoekslacunes. Daarnaast analyseren wij correlaties tussen eigenschappen in hoogwaardige natuurlijke taalprompts, wat leidt tot aanbevelingen voor prompting. Vervolgens verkennen wij empirisch multi-eigenschap promptverbeteringen in redeneertaken, waarbij wij opmerken dat verbeteringen van één eigenschap vaak de grootste impact hebben. Tot slot ontdekken wij dat instructie-afstemming op prompts met verbeterde eigenschappen kan resulteren in betere redeneermodellen. Onze bevindingen leggen een basis voor eigenschapgerichte promptevaluatie en -optimalisatie, waardoor de kloof tussen mens-AI-communicatie wordt overbrugd en nieuwe onderzoeksrichtingen voor prompting worden geopend.

English

As large language models (LLMs) have progressed towards more human-like and human--AI communications have become prevalent, prompting has emerged as a decisive component. However, there is limited conceptual consensus on what exactly quantifies natural language prompts. We attempt to address this question by conducting a meta-analysis surveying more than 150 prompting-related papers from leading NLP and AI conferences from 2022 to 2025 and blogs. We propose a property- and human-centric framework for evaluating prompt quality, encompassing 21 properties categorized into six dimensions. We then examine how existing studies assess their impact on LLMs, revealing their imbalanced support across models and tasks, and substantial research gaps. Further, we analyze correlations among properties in high-quality natural language prompts, deriving prompting recommendations. We then empirically explore multi-property prompt enhancements in reasoning tasks, observing that single-property enhancements often have the greatest impact. Finally, we discover that instruction-tuning on property-enhanced prompts can result in better reasoning models. Our findings establish a foundation for property-centric prompt evaluation and optimization, bridging the gaps between human--AI communication and opening new prompting research directions.