Promptomatix : Un cadre d'optimisation automatique des prompts pour les grands modèles de langage

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

July 17, 2025

papers.authors: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

cs.AI

papers.abstract

Les modèles de langage à grande échelle (LLMs) offrent les meilleures performances avec des prompts bien conçus, mais l'ingénierie des prompts reste manuelle, incohérente et inaccessible aux non-experts. Nous présentons Promptomatix, un cadre d'optimisation automatique des prompts qui transforme les descriptions de tâches en langage naturel en prompts de haute qualité sans nécessiter de réglage manuel ou d'expertise spécifique. Promptomatix prend en charge à la fois un optimiseur léger basé sur des méta-prompts et un compilateur alimenté par DSPy, avec une conception modulaire permettant une extension future à des cadres plus avancés. Le système analyse l'intention de l'utilisateur, génère des données d'entraînement synthétiques, sélectionne des stratégies de prompting et affine les prompts en utilisant des objectifs prenant en compte les coûts. Évalué sur 5 catégories de tâches, Promptomatix atteint des performances compétitives ou supérieures par rapport aux bibliothèques existantes, tout en réduisant la longueur des prompts et la surcharge computationnelle, rendant l'optimisation des prompts évolutive et efficace.

English

Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.