Promptomatix: Un Marco de Optimización Automática de Prompts para Modelos de Lenguaje a Gran Escala

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

July 17, 2025

Autores: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) obtienen su mejor rendimiento con indicaciones (prompts) bien elaboradas, sin embargo, la ingeniería de prompts sigue siendo manual, inconsistente e inaccesible para no expertos. Presentamos Promptomatix, un marco de optimización automática de prompts que transforma descripciones de tareas en lenguaje natural en prompts de alta calidad sin requerir ajustes manuales ni experiencia en el dominio. Promptomatix incluye tanto un optimizador ligero basado en meta-prompts como un compilador impulsado por DSPy, con un diseño modular que permite futuras extensiones a marcos más avanzados. El sistema analiza la intención del usuario, genera datos de entrenamiento sintéticos, selecciona estrategias de prompting y refina los prompts utilizando objetivos conscientes del costo. Evaluado en 5 categorías de tareas, Promptomatix logra un rendimiento competitivo o superior en comparación con bibliotecas existentes, al tiempo que reduce la longitud de los prompts y la sobrecarga computacional, haciendo que la optimización de prompts sea escalable y eficiente.

English

Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.