Ajuste Reflexivo de Prompts via Chamada de Funções de Modelo de Linguagem

Resumo

Modelos de linguagem de grande escala (LLMs) tornaram-se cada vez mais capazes de seguir instruções e realizar raciocínios complexos, tornando o *prompting* uma interface flexível para adaptar modelos sem atualizar parâmetros. No entanto, o design de *prompts* continua trabalhoso e altamente sensível à formatação, à redação e à ordem das instruções, motivando métodos automatizados de otimização de *prompts* que reduzem o esforço manual e preservam a flexibilidade em tempo de inferência. Contudo, os métodos existentes frequentemente buscam sobre candidatos a *prompts* ou usam *pipelines* fixos de crítica e refinamento conduzidos por exemplos individuais ou pequenos lotes, limitando sua capacidade de capturar padrões sistemáticos de erro e realizar edições direcionadas baseadas no histórico de falhas. Propomos o Ajuste Reflexivo de *Prompts* (RPT), uma estrutura que utiliza chamadas de função de LLMs para simular o fluxo de trabalho iterativo de engenheiros humanos de *prompts*. Um otimizador LLM chama uma função de diagnóstico que avalia o modelo alvo em todo um conjunto de otimização, resume modos de falha recorrentes e retorna um relatório diagnóstico estruturado. O otimizador utiliza esse relatório, juntamente com uma memória acumulada de relatórios anteriores, para revisar o *prompt* na iteração seguinte. O RPT também suporta otimização ciente da confiança, empregando sinais de calibração no *feedback* diagnóstico e na seleção final do *prompt*. Em três tarefas de raciocínio, o RPT melhora os *prompts* iniciais em até 12,9 pontos, mantém-se competitivo com o estado da arte e melhora a calibração da confiança. Nossas análises mostram que o RPT é especialmente eficaz em raciocínio multi-hop e matemático, produzindo revisões direcionadas de *prompts* que se alinham com os padrões de falha diagnosticados e levam a ganhos no desempenho da tarefa e na calibração.

English

Large language models (LLMs) have become increasingly capable of following instructions and complex reasoning, making prompting a flexible interface for adapting models without parameter updates. Yet prompt design remains labor-intensive and highly sensitive to formatting, phrasing, and instruction order, motivating automated prompt optimization methods that reduce manual effort while preserving inference-time flexibility. However, existing methods often search over prompt candidates or use fixed critique-refine pipelines driven by individual examples or small batches, limiting their ability to capture systematic error patterns and make targeted edits grounded in failure history. We propose Reflective Prompt Tuning (RPT), a framework that uses LLM function calling to simulate the iterative workflow of human prompt engineers. An LLM optimizer calls a diagnostic function that evaluates the target model over an entire optimization set, summarizes recurring failure modes, and returns a structured diagnostic report. The optimizer uses this report, together with an accumulated memory of prior reports, to revise the prompt for the next iteration. RPT further supports confidence-aware optimization by using calibration signals in diagnostic feedback and final prompt selection. Across three reasoning tasks, RPT improves over initial prompts by up to 12.9 points, remains competitive with state of the art, and improves confidence calibration. Our analyses show that RPT is especially effective on multi-hop and mathematical reasoning, producing targeted prompt revisions that align with diagnosed failure patterns and lead to gains in task performance and calibration.