Promptomatix: Un Framework Automatico per l'Ottimizzazione dei Prompt nei Modelli Linguistici di Grandi Dimensioni

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

July 17, 2025

Autori: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

cs.AI

Abstract

I Large Language Model (LLM) ottengono i migliori risultati con prompt ben strutturati, tuttavia l'ingegneria dei prompt rimane un processo manuale, incoerente e inaccessibile ai non esperti. Introduciamo Promptomatix, un framework di ottimizzazione automatica dei prompt che trasforma descrizioni di task in linguaggio naturale in prompt di alta qualità senza richiedere regolazioni manuali o competenze specifiche del dominio. Promptomatix supporta sia un ottimizzatore leggero basato su meta-prompt sia un compilatore alimentato da DSPy, con un design modulare che consente future estensioni a framework più avanzati. Il sistema analizza l'intento dell'utente, genera dati di addestramento sintetici, seleziona strategie di prompting e affina i prompt utilizzando obiettivi consapevoli dei costi. Valutato in 5 categorie di task, Promptomatix raggiunge prestazioni competitive o superiori rispetto alle librerie esistenti, riducendo al contempo la lunghezza dei prompt e l'overhead computazionale, rendendo l'ottimizzazione dei prompt scalabile ed efficiente.

English

Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.