優れた自然言語プロンプトとは何か？

What Makes a Good Natural Language Prompt?

June 7, 2025

著者: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, Kenji Kawaguchi, Nancy F. Chen, Shafiq Joty, Min-Yen Kan

cs.AI

要旨

大規模言語モデル（LLM）がより人間らしい進化を遂げ、人間とAIのコミュニケーションが一般的になるにつれ、プロンプティングは決定的な要素として浮上してきた。しかし、自然言語プロンプトをどのように定量化するかについて、概念的な合意は限られている。この問題に対処するため、2022年から2025年にかけて主要なNLPおよびAI会議やブログから150以上のプロンプティング関連論文を調査するメタ分析を行った。我々は、プロンプトの品質を評価するためのプロパティ中心かつ人間中心のフレームワークを提案し、6つの次元に分類された21のプロパティを包含する。次に、既存の研究がこれらのプロパティがLLMに与える影響をどのように評価しているかを検証し、モデルやタスク間での不均衡なサポートと、大きな研究ギャップを明らかにした。さらに、高品質な自然言語プロンプトにおけるプロパティ間の相関関係を分析し、プロンプティングの推奨事項を導出した。その後、推論タスクにおける複数プロパティのプロンプト強化を実証的に探り、単一プロパティの強化が最も大きな影響を与えることが多いことを観察した。最後に、プロパティ強化されたプロンプトでの指示チューニングが、より優れた推論モデルを生み出す可能性があることを発見した。我々の知見は、プロパティ中心のプロンプト評価と最適化の基盤を確立し、人間とAIのコミュニケーションのギャップを埋め、新たなプロンプティング研究の方向性を開くものである。

English

As large language models (LLMs) have progressed towards more human-like and human--AI communications have become prevalent, prompting has emerged as a decisive component. However, there is limited conceptual consensus on what exactly quantifies natural language prompts. We attempt to address this question by conducting a meta-analysis surveying more than 150 prompting-related papers from leading NLP and AI conferences from 2022 to 2025 and blogs. We propose a property- and human-centric framework for evaluating prompt quality, encompassing 21 properties categorized into six dimensions. We then examine how existing studies assess their impact on LLMs, revealing their imbalanced support across models and tasks, and substantial research gaps. Further, we analyze correlations among properties in high-quality natural language prompts, deriving prompting recommendations. We then empirically explore multi-property prompt enhancements in reasoning tasks, observing that single-property enhancements often have the greatest impact. Finally, we discover that instruction-tuning on property-enhanced prompts can result in better reasoning models. Our findings establish a foundation for property-centric prompt evaluation and optimization, bridging the gaps between human--AI communication and opening new prompting research directions.