Ajuste Reflexivo de Prompts mediante Llamada a Funciones del Modelo de Lenguaje

Resumen

Los modelos de lenguaje de gran escala (LLMs) se han vuelto cada vez más capaces de seguir instrucciones y realizar razonamientos complejos, lo que convierte a la generación de instrucciones (prompting) en una interfaz flexible para adaptar modelos sin actualizar sus parámetros. Sin embargo, el diseño de instrucciones sigue siendo laborioso y muy sensible al formato, la redacción y el orden de las mismas, lo que motiva el desarrollo de métodos automatizados de optimización de instrucciones que reducen el esfuerzo manual mientras preservan la flexibilidad durante la inferencia. No obstante, los métodos existentes suelen buscar entre candidatos de instrucciones o utilizan procesos fijos de crítica y refinamiento impulsados por ejemplos individuales o lotes pequeños, lo que limita su capacidad para capturar patrones sistemáticos de error y realizar ediciones específicas basadas en el historial de fallos. Proponemos el Ajuste Reflexivo de Instrucciones (RPT, por sus siglas en inglés), un marco que utiliza la llamada a funciones de los LLM para simular el flujo de trabajo iterativo de los ingenieros humanos de instrucciones. Un optimizador LLM invoca una función de diagnóstico que evalúa el modelo objetivo sobre un conjunto de optimización completo, resume los modos de fallo recurrentes y devuelve un informe de diagnóstico estructurado. El optimizador utiliza este informe, junto con una memoria acumulada de informes anteriores, para revisar la instrucción en la siguiente iteración. RPT también admite la optimización consciente de la confianza al emplear señales de calibración en la retroalimentación diagnóstica y en la selección final de la instrucción. En tres tareas de razonamiento, RPT mejora las instrucciones iniciales hasta en 12.9 puntos, se mantiene competitivo con el estado del arte y mejora la calibración de la confianza. Nuestros análisis muestran que RPT es especialmente efectivo en razonamiento multisalto y matemático, produciendo revisiones de instrucciones dirigidas que se alinean con los patrones de fallo diagnosticados y generan mejoras en el rendimiento de la tarea y en la calibración.

English

Large language models (LLMs) have become increasingly capable of following instructions and complex reasoning, making prompting a flexible interface for adapting models without parameter updates. Yet prompt design remains labor-intensive and highly sensitive to formatting, phrasing, and instruction order, motivating automated prompt optimization methods that reduce manual effort while preserving inference-time flexibility. However, existing methods often search over prompt candidates or use fixed critique-refine pipelines driven by individual examples or small batches, limiting their ability to capture systematic error patterns and make targeted edits grounded in failure history. We propose Reflective Prompt Tuning (RPT), a framework that uses LLM function calling to simulate the iterative workflow of human prompt engineers. An LLM optimizer calls a diagnostic function that evaluates the target model over an entire optimization set, summarizes recurring failure modes, and returns a structured diagnostic report. The optimizer uses this report, together with an accumulated memory of prior reports, to revise the prompt for the next iteration. RPT further supports confidence-aware optimization by using calibration signals in diagnostic feedback and final prompt selection. Across three reasoning tasks, RPT improves over initial prompts by up to 12.9 points, remains competitive with state of the art, and improves confidence calibration. Our analyses show that RPT is especially effective on multi-hop and mathematical reasoning, producing targeted prompt revisions that align with diagnosed failure patterns and lead to gains in task performance and calibration.