ChatPaper.aiChatPaper

Promptomatix: Ein automatisches Framework zur Prompt-Optimierung für große Sprachmodelle

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

July 17, 2025
papers.authors: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang
cs.AI

papers.abstract

Große Sprachmodelle (LLMs) erzielen die besten Ergebnisse mit sorgfältig formulierten Prompts, doch das Prompt-Engineering bleibt manuell, inkonsistent und für Nicht-Experten schwer zugänglich. Wir stellen Promptomatix vor, ein automatisches Prompt-Optimierungsframework, das natürliche Sprachaufgabenbeschreibungen in hochwertige Prompts umwandelt, ohne manuelle Anpassungen oder Domänenexpertise zu erfordern. Promptomatix unterstützt sowohl einen leichtgewichtigen Meta-Prompt-basierten Optimierer als auch einen DSPy-betriebenen Compiler, wobei das modulare Design zukünftige Erweiterungen auf fortschrittlichere Frameworks ermöglicht. Das System analysiert die Benutzerabsicht, generiert synthetische Trainingsdaten, wählt Prompting-Strategien aus und verfeinert Prompts unter Berücksichtigung kostenbewusster Ziele. In Evaluierungen über fünf Aufgabenkategorien hinweg erzielt Promptomatix eine wettbewerbsfähige oder überlegene Leistung im Vergleich zu bestehenden Bibliotheken, während es die Prompt-Länge und den Rechenaufwand reduziert, wodurch die Prompt-Optimierung skalierbar und effizient wird.
English
Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.
PDF162July 24, 2025