Promptomatix: 대규모 언어 모델을 위한 자동 프롬프트 최적화 프레임워크

초록

대규모 언어 모델(LLMs)은 잘 구성된 프롬프트를 통해 최상의 성능을 발휘하지만, 프롬프트 엔지니어링은 여전히 수동적이고 일관성이 없으며 비전문가에게는 접근하기 어려운 실정이다. 본 연구에서는 자연어 작업 설명을 고품질 프롬프트로 변환하는 자동 프롬프트 최적화 프레임워크인 Promptomatix를 소개한다. Promptomatix는 수동 조정이나 도메인 전문 지식 없이도 프롬프트를 최적화할 수 있으며, 경량 메타 프롬프트 기반 최적화기와 DSPy 기반 컴파일러를 모두 지원한다. 모듈식 설계를 통해 향후 더 발전된 프레임워크로의 확장이 가능하다. 이 시스템은 사용자 의도를 분석하고, 합성 훈련 데이터를 생성하며, 프롬프트 전략을 선택하고, 비용 인식 목표를 사용하여 프롬프트를 개선한다. 5가지 작업 범주에 걸쳐 평가한 결과, Promptomatix는 기존 라이브러리와 비교하여 경쟁력 있거나 우수한 성능을 보였으며, 프롬프트 길이와 계산 오버헤드를 줄여 프롬프트 최적화를 확장 가능하고 효율적으로 만드는 것으로 나타났다.

English

Large Language Models (LLMs) perform best with well-crafted prompts, yet prompt engineering remains manual, inconsistent, and inaccessible to non-experts. We introduce Promptomatix, an automatic prompt optimization framework that transforms natural language task descriptions into high-quality prompts without requiring manual tuning or domain expertise. Promptomatix supports both a lightweight meta-prompt-based optimizer and a DSPy-powered compiler, with modular design enabling future extension to more advanced frameworks. The system analyzes user intent, generates synthetic training data, selects prompting strategies, and refines prompts using cost-aware objectives. Evaluated across 5 task categories, Promptomatix achieves competitive or superior performance compared to existing libraries, while reducing prompt length and computational overhead making prompt optimization scalable and efficient.

Promptomatix: 대규모 언어 모델을 위한 자동 프롬프트 최적화 프레임워크

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

초록

Support