Reflektives Prompt-Tuning durch Funktionsaufrufe von Sprachmodellen

Zusammenfassung

Große Sprachmodelle (Large Language Models, LLMs) sind zunehmend in der Lage, Anweisungen zu befolgen und komplexe Schlussfolgerungen zu ziehen, wodurch Prompting zu einer flexiblen Schnittstelle wird, um Modelle ohne Parameteraktualisierungen anzupassen. Dennoch bleibt das Prompt-Design arbeitsintensiv und sehr empfindlich gegenüber Formatierung, Formulierung und Befehlsreihenfolge, was automatisierte Prompt-Optimierungsmethoden motiviert, die den manuellen Aufwand reduzieren und gleichzeitig die Flexibilität zur Inferenzzeit bewahren. Allerdings durchsuchen bestehende Methoden oft Kandidaten-Prompts oder verwenden feste Kritik-Verbesserungs-Pipelines, die von einzelnen Beispielen oder kleinen Batches gesteuert werden, was ihre Fähigkeit einschränkt, systematische Fehlermuster zu erfassen und gezielte Änderungen vorzunehmen, die auf der Fehlerhistorie basieren. Wir schlagen Reflective Prompt Tuning (RPT) vor, ein Rahmenwerk, das den Funktionsaufruf von LLMs nutzt, um den iterativen Arbeitsablauf menschlicher Prompt-Ingenieure zu simulieren. Ein LLM-Optimierer ruft eine Diagnosefunktion auf, die das Zielmodell über einen gesamten Optimierungssatz hinweg bewertet, wiederkehrende Fehlermuster zusammenfasst und einen strukturierten Diagnosebericht zurückgibt. Der Optimierer verwendet diesen Bericht zusammen mit einem akkumulierten Speicher früherer Berichte, um den Prompt für die nächste Iteration zu überarbeiten. RPT unterstützt zudem eine konfidenzbewusste Optimierung, indem Kalibrierungssignale im diagnostischen Feedback und bei der endgültigen Prompt-Auswahl verwendet werden. Über drei Denkaufgaben hinweg verbessert RPT die Ausgangsprompts um bis zu 12,9 Punkte, bleibt wettbewerbsfähig mit dem Stand der Technik und verbessert die Konfidenzkalibrierung. Unsere Analysen zeigen, dass RPT besonders effektiv beim mehrstufigen und mathematischen Denken ist, gezielte Prompt-Überarbeitungen hervorbringt, die mit diagnostizierten Fehlermustern übereinstimmen, und zu Verbesserungen bei der Aufgabenleistung und Kalibrierung führt.

English

Large language models (LLMs) have become increasingly capable of following instructions and complex reasoning, making prompting a flexible interface for adapting models without parameter updates. Yet prompt design remains labor-intensive and highly sensitive to formatting, phrasing, and instruction order, motivating automated prompt optimization methods that reduce manual effort while preserving inference-time flexibility. However, existing methods often search over prompt candidates or use fixed critique-refine pipelines driven by individual examples or small batches, limiting their ability to capture systematic error patterns and make targeted edits grounded in failure history. We propose Reflective Prompt Tuning (RPT), a framework that uses LLM function calling to simulate the iterative workflow of human prompt engineers. An LLM optimizer calls a diagnostic function that evaluates the target model over an entire optimization set, summarizes recurring failure modes, and returns a structured diagnostic report. The optimizer uses this report, together with an accumulated memory of prior reports, to revise the prompt for the next iteration. RPT further supports confidence-aware optimization by using calibration signals in diagnostic feedback and final prompt selection. Across three reasoning tasks, RPT improves over initial prompts by up to 12.9 points, remains competitive with state of the art, and improves confidence calibration. Our analyses show that RPT is especially effective on multi-hop and mathematical reasoning, producing targeted prompt revisions that align with diagnosed failure patterns and lead to gains in task performance and calibration.