Promptomatix: Een Automatisch Promptoptimalisatiekader voor Grote Taalmodellen

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

July 17, 2025

Auteurs: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) presteren het beste met zorgvuldig opgestelde prompts, maar prompt engineering blijft handmatig, inconsistent en ontoegankelijk voor niet-experts. Wij introduceren Promptomatix, een automatisch promptoptimalisatiekader dat natuurlijke taalbeschrijvingen omzet in hoogwaardige prompts zonder handmatige afstemming of domeinkennis te vereisen. Promptomatix ondersteunt zowel een lichtgewicht meta-prompt-gebaseerde optimalisator als een DSPy-aangedreven compiler, met een modulair ontwerp dat toekomstige uitbreiding naar geavanceerdere kaders mogelijk maakt. Het systeem analyseert gebruikersintentie, genereert synthetische trainingsdata, selecteert promptstrategieën en verfijnt prompts met kostbewuste doelstellingen. Getest over 5 taakcategorieën, behaalt Promptomatix competitieve of superieure prestaties in vergelijking met bestaande bibliotheken, terwijl het promptlengte en rekenoverhead vermindert, waardoor promptoptimalisatie schaalbaar en efficiënt wordt.

English

Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.