Prompt Orchestration Markup Language

papers.abstract

Große Sprachmodelle (LLMs) erfordern anspruchsvolles Prompting, doch die derzeitigen Praktiken stehen vor Herausforderungen in Bezug auf Struktur, Datenintegration, Formatempfindlichkeit und Werkzeuge. Bestehende Methoden bieten keine umfassenden Lösungen für die Organisation komplexer Prompts, die verschiedene Datentypen (Dokumente, Tabellen, Bilder) umfassen, oder für die systematische Verwaltung von Präsentationsvarianten. Um diese Lücken zu schließen, führen wir POML (Prompt Orchestration Markup Language) ein. POML verwendet komponentenbasierte Markup-Sprache für logische Strukturen (Rollen, Aufgaben, Beispiele), spezialisierte Tags für nahtlose Datenintegration und ein CSS-ähnliches Stilsystem, um Inhalt von der Präsentation zu entkoppeln und die Formatempfindlichkeit zu reduzieren. Es beinhaltet Templating für dynamische Prompts und ein umfassendes Entwickler-Toolkit (IDE-Unterstützung, SDKs), um die Versionskontrolle und Zusammenarbeit zu verbessern. Wir validieren POML durch zwei Fallstudien, die seine Auswirkungen auf die Integration komplexer Anwendungen (PomLink) und die Genauigkeitsleistung (TableQA) demonstrieren, sowie durch eine Nutzerstudie, die seine Effektivität in realen Entwicklungsszenarien bewertet.

English

Large Language Models (LLMs) require sophisticated prompting, yet current practices face challenges in structure, data integration, format sensitivity, and tooling. Existing methods lack comprehensive solutions for organizing complex prompts involving diverse data types (documents, tables, images) or managing presentation variations systematically. To address these gaps, we introduce POML (Prompt Orchestration Markup Language). POML employs component-based markup for logical structure (roles, tasks, examples), specialized tags for seamless data integration, and a CSS-like styling system to decouple content from presentation, reducing formatting sensitivity. It includes templating for dynamic prompts and a comprehensive developer toolkit (IDE support, SDKs) to improve version control and collaboration. We validate POML through two case studies demonstrating its impact on complex application integration (PomLink) and accuracy performance (TableQA), as well as a user study assessing its effectiveness in real-world development scenarios.