¿Qué hace que un prompt de lenguaje natural sea bueno?

What Makes a Good Natural Language Prompt?

June 7, 2025

Autores: Do Xuan Long, Duy Dinh, Ngoc-Hai Nguyen, Kenji Kawaguchi, Nancy F. Chen, Shafiq Joty, Min-Yen Kan

cs.AI

Resumen

A medida que los modelos de lenguaje de gran escala (LLMs) han avanzado hacia comunicaciones más humanas y las interacciones humano-IA se han vuelto prevalentes, el prompting ha surgido como un componente decisivo. Sin embargo, existe un consenso conceptual limitado sobre qué exactamente cuantifica los prompts en lenguaje natural. Intentamos abordar esta pregunta realizando un meta-análisis que examina más de 150 artículos relacionados con prompting de conferencias líderes en PLN e IA desde 2022 hasta 2025, así como blogs. Proponemos un marco centrado en propiedades y en el ser humano para evaluar la calidad de los prompts, abarcando 21 propiedades categorizadas en seis dimensiones. Luego, examinamos cómo los estudios existentes evalúan su impacto en los LLMs, revelando un apoyo desequilibrado entre modelos y tareas, así como brechas sustanciales de investigación. Además, analizamos correlaciones entre propiedades en prompts de lenguaje natural de alta calidad, derivando recomendaciones para el prompting. Posteriormente, exploramos empíricamente mejoras de prompts con múltiples propiedades en tareas de razonamiento, observando que las mejoras de una sola propiedad suelen tener el mayor impacto. Finalmente, descubrimos que el ajuste por instrucción en prompts mejorados con propiedades puede resultar en modelos de razonamiento más efectivos. Nuestros hallazgos establecen una base para la evaluación y optimización de prompts centrada en propiedades, cerrando las brechas entre la comunicación humano-IA y abriendo nuevas direcciones de investigación en prompting.

English

As large language models (LLMs) have progressed towards more human-like and human--AI communications have become prevalent, prompting has emerged as a decisive component. However, there is limited conceptual consensus on what exactly quantifies natural language prompts. We attempt to address this question by conducting a meta-analysis surveying more than 150 prompting-related papers from leading NLP and AI conferences from 2022 to 2025 and blogs. We propose a property- and human-centric framework for evaluating prompt quality, encompassing 21 properties categorized into six dimensions. We then examine how existing studies assess their impact on LLMs, revealing their imbalanced support across models and tasks, and substantial research gaps. Further, we analyze correlations among properties in high-quality natural language prompts, deriving prompting recommendations. We then empirically explore multi-property prompt enhancements in reasoning tasks, observing that single-property enhancements often have the greatest impact. Finally, we discover that instruction-tuning on property-enhanced prompts can result in better reasoning models. Our findings establish a foundation for property-centric prompt evaluation and optimization, bridging the gaps between human--AI communication and opening new prompting research directions.