Язык разметки для оркестровки промптов

Аннотация

Крупные языковые модели (LLM) требуют сложного управления запросами, однако текущие подходы сталкиваются с проблемами в структуре, интеграции данных, чувствительности к форматам и инструментарии. Существующие методы не предлагают комплексных решений для организации сложных запросов, включающих разнообразные типы данных (документы, таблицы, изображения), или систематического управления вариациями представления. Для устранения этих пробелов мы представляем POML (Prompt Orchestration Markup Language). POML использует компонентную разметку для логической структуры (роли, задачи, примеры), специализированные теги для бесшовной интеграции данных и систему стилей, подобную CSS, чтобы отделить содержание от представления, снижая чувствительность к форматированию. Он включает шаблонизацию для динамических запросов и комплексный набор инструментов для разработчиков (поддержка IDE, SDK) для улучшения контроля версий и совместной работы. Мы проверяем POML на двух кейс-стадиях, демонстрирующих его влияние на интеграцию сложных приложений (PomLink) и производительность в задачах точности (TableQA), а также на пользовательском исследовании, оценивающем его эффективность в реальных сценариях разработки.

English

Large Language Models (LLMs) require sophisticated prompting, yet current practices face challenges in structure, data integration, format sensitivity, and tooling. Existing methods lack comprehensive solutions for organizing complex prompts involving diverse data types (documents, tables, images) or managing presentation variations systematically. To address these gaps, we introduce POML (Prompt Orchestration Markup Language). POML employs component-based markup for logical structure (roles, tasks, examples), specialized tags for seamless data integration, and a CSS-like styling system to decouple content from presentation, reducing formatting sensitivity. It includes templating for dynamic prompts and a comprehensive developer toolkit (IDE support, SDKs) to improve version control and collaboration. We validate POML through two case studies demonstrating its impact on complex application integration (PomLink) and accuracy performance (TableQA), as well as a user study assessing its effectiveness in real-world development scenarios.