Promptomatix: Автоматизированная система оптимизации промптов для крупных языковых моделей

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

July 17, 2025

Авторы: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют наилучшие результаты с тщательно составленными промптами, однако разработка промптов остается ручным, неоднородным и недоступным для неспециалистов процессом. Мы представляем Promptomatix — автоматизированную систему оптимизации промптов, которая преобразует описания задач на естественном языке в высококачественные промпты без необходимости ручной настройки или экспертных знаний в предметной области. Promptomatix поддерживает как легковесный оптимизатор на основе мета-промптов, так и компилятор на базе DSPy, а модульная архитектура позволяет в будущем расширять систему более продвинутыми фреймворками. Система анализирует намерения пользователя, генерирует синтетические обучающие данные, выбирает стратегии промптинга и уточняет промпты с учетом целевых показателей, оптимизированных по затратам. В ходе оценки на 5 категориях задач Promptomatix демонстрирует конкурентоспособные или превосходящие результаты по сравнению с существующими библиотеками, одновременно сокращая длину промптов и вычислительные затраты, что делает оптимизацию промптов масштабируемой и эффективной.

English

Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.