Promptomatix: Um Framework Automático de Otimização de Prompts para Modelos de Linguagem de Grande Escala

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

July 17, 2025

Autores: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm o melhor desempenho com prompts bem elaborados, no entanto, a engenharia de prompts continua sendo manual, inconsistente e inacessível para não especialistas. Apresentamos o Promptomatix, um framework de otimização automática de prompts que transforma descrições de tarefas em linguagem natural em prompts de alta qualidade, sem a necessidade de ajustes manuais ou expertise de domínio. O Promptomatix suporta tanto um otimizador leve baseado em meta-prompts quanto um compilador alimentado por DSPy, com um design modular que permite futuras extensões para frameworks mais avançados. O sistema analisa a intenção do usuário, gera dados de treinamento sintéticos, seleciona estratégias de prompting e refina os prompts usando objetivos conscientes de custo. Avaliado em 5 categorias de tarefas, o Promptomatix alcança desempenho competitivo ou superior em comparação com bibliotecas existentes, enquanto reduz o comprimento dos prompts e a sobrecarga computacional, tornando a otimização de prompts escalável e eficiente.

English

Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.