O Que Faz um Bom Prompt de Linguagem Natural?

What Makes a Good Natural Language Prompt?

June 7, 2025

Autores: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, Kenji Kawaguchi, Nancy F. Chen, Shafiq Joty, Min-Yen Kan

cs.AI

Resumo

À medida que os modelos de linguagem de grande escala (LLMs) avançam em direção a comunicações mais humanas e as interações humano-IA se tornam prevalentes, o prompting emergiu como um componente decisivo. No entanto, há um consenso conceitual limitado sobre o que exatamente quantifica prompts em linguagem natural. Buscamos abordar essa questão realizando uma meta-análise que examina mais de 150 artigos relacionados a prompting, provenientes de conferências líderes em PLN e IA de 2022 a 2025, além de blogs. Propomos um framework centrado em propriedades e no ser humano para avaliar a qualidade de prompts, abrangendo 21 propriedades categorizadas em seis dimensões. Em seguida, examinamos como os estudos existentes avaliam seu impacto em LLMs, revelando suporte desequilibrado entre modelos e tarefas, além de lacunas significativas de pesquisa. Além disso, analisamos correlações entre propriedades em prompts de alta qualidade em linguagem natural, derivando recomendações para prompting. Exploramos empiricamente aprimoramentos de prompts com múltiplas propriedades em tarefas de raciocínio, observando que aprimoramentos de propriedade única frequentemente têm o maior impacto. Por fim, descobrimos que o ajuste por instrução em prompts aprimorados por propriedades pode resultar em modelos de raciocínio melhores. Nossas descobertas estabelecem uma base para avaliação e otimização de prompts centrada em propriedades, preenchendo as lacunas entre as comunicações humano-IA e abrindo novas direções de pesquisa em prompting.

English

As large language models (LLMs) have progressed towards more human-like and human--AI communications have become prevalent, prompting has emerged as a decisive component. However, there is limited conceptual consensus on what exactly quantifies natural language prompts. We attempt to address this question by conducting a meta-analysis surveying more than 150 prompting-related papers from leading NLP and AI conferences from 2022 to 2025 and blogs. We propose a property- and human-centric framework for evaluating prompt quality, encompassing 21 properties categorized into six dimensions. We then examine how existing studies assess their impact on LLMs, revealing their imbalanced support across models and tasks, and substantial research gaps. Further, we analyze correlations among properties in high-quality natural language prompts, deriving prompting recommendations. We then empirically explore multi-property prompt enhancements in reasoning tasks, observing that single-property enhancements often have the greatest impact. Finally, we discover that instruction-tuning on property-enhanced prompts can result in better reasoning models. Our findings establish a foundation for property-centric prompt evaluation and optimization, bridging the gaps between human--AI communication and opening new prompting research directions.