Promptomatix: 大規模言語モデルのための自動プロンプト最適化フレームワーク

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

July 17, 2025

著者: Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

cs.AI

要旨

大規模言語モデル（LLMs）は、適切に設計されたプロンプトを用いることで最高の性能を発揮しますが、プロンプトエンジニアリングは依然として手動で行われ、一貫性がなく、非専門家にとってはアクセスが困難です。本論文では、自然言語のタスク記述を高品質なプロンプトに変換する自動プロンプト最適化フレームワーク「Promptomatix」を紹介します。Promptomatixは、手動での調整やドメイン知識を必要とせず、軽量なメタプロンプトベースの最適化ツールとDSPyを活用したコンパイラをサポートし、モジュール設計により将来のより高度なフレームワークへの拡張を可能にします。本システムは、ユーザーの意図を分析し、合成トレーニングデータを生成し、プロンプト戦略を選択し、コストを考慮した目的に基づいてプロンプトを改良します。5つのタスクカテゴリで評価を行った結果、Promptomatixは既存のライブラリと比較して競争力のある、あるいは優れた性能を達成し、プロンプトの長さと計算オーバーヘッドを削減することで、プロンプト最適化をスケーラブルかつ効率的に実現します。

English

Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.