PromptBridge: 대규모 언어 모델을 위한 교차 모델 프롬프트 전이

초록

대규모 언어 모델(LLM)은 코드 생성, 수학적 추론, 에이전트 기반 워크플로우 애플리케이션의 기반이 됩니다. 실제 시스템에서는 상용 API나 오픈소스 배포를 통해 LLM에 접근하며, GPT, Claude, Llama 등 모델 생태계는 빠르게 진화하고 있습니다. 이러한 급속한 발전은 성능, 비용, 배포 제약 조건, 프라이버시 등의 이유로 빈번한 모델 전환을 필요로 합니다. 그러나 프롬프트는 모델에 매우 민감합니다: 한 모델에 맞게 설계된 프롬프트를 다른 모델에 재사용할 경우, 대상 모델에 최적화된 프롬프트보다 성능이 현저히 저하되는 경우가 많습니다. 우리는 이러한 현상을 '모델 드리프팅(Model Drifting)'이라고 명명합니다. 다양한 LLM 구성에 대한 광범위한 실증 분석을 통해 모델 드리프팅이 흔히 발생하며 그 영향이 심각함을 보여줍니다. 이 문제를 해결하기 위해 우리는 모델 전환 시 프롬프트 효과성을 유지하고, 비용이 많이 드는 태스크별 또는 모델별 재최적화 없이 크로스모델 프롬프트 전송을 가능하게 하는 학습이 불필요한 프레임워크인 PromptBridge를 소개합니다. PromptBridge는 캘리브레이션을 위해 소규모의 얼라인먼트 태스크 집합만을 요구합니다. 먼저 모델 적응형 반성적 프롬프트 진화(MAP-RPE)를 적용하여 반복적인 반성적 개선과 정량적 평가를 통해 태스크 및 모델 특화 최적 프롬프트를 획득합니다. 이를 통해 생성된 소스 모델과 대상 모델용 캘리브레이션된 프롬프트 쌍을 이용해 PromptBridge는 크로스모델 프롬프트 매핑을 학습합니다. 테스트 시, 즉 새로운 태스크에 대해 소스 모델용 프롬프트가 주어지면 이 매핑을 통해 대상 모델용 최적화된 프롬프트를 직접 생성합니다. 단일 에이전트 및 다중 에이전트 환경에서의 실험 결과, PromptBridge가 이전 노력을 줄이면서 다운스트림 정확도를 지속적으로 향상시킴을 확인했습니다. 코드는 곧 공개될 예정입니다.

English

Large language models (LLMs) underpin applications in code generation, mathematical reasoning, and agent-based workflows. In practice, systems access LLMs via commercial APIs or open-source deployments, and the model landscape (e.g., GPT, Claude, Llama) evolves rapidly. This rapid evolution forces frequent model switches driven by capability, cost, deployment constraints, and privacy. Yet prompts are highly model-sensitive: reusing a prompt engineered for one model on another often yields substantially worse performance than a prompt optimized for the target model. We term this phenomenon Model Drifting. Through extensive empirical analysis across diverse LLM configurations, we show that model drifting is both common and severe. To address this challenge, we introduce PromptBridge, a training-free framework that preserves prompt effectiveness under model switches, enabling cross-model prompt transfer without costly per-task or per-model re-optimization. PromptBridge requires only a small set of alignment tasks for calibration. It first applies Model-Adaptive Reflective Prompt Evolution (MAP-RPE) to obtain task- and model-specific optimal prompts via iterative reflective refinement and quantitative evaluation. Using the resulting calibrated prompt pairs for the source and target models, PromptBridge learns a cross-model prompt mapping. At test time, i.e., for an unseen task, given a source-model prompt, this mapping directly produces an optimized prompt for the target model. Experiments in single-agent and multi-agent settings show that PromptBridge consistently improves downstream accuracy while reducing migration effort. The code will be available soon.

PromptBridge: 대규모 언어 모델을 위한 교차 모델 프롬프트 전이

PromptBridge: Cross-Model Prompt Transfer for Large Language Models

초록

Support