Calibração-Antes-de-Agir: Exploração Consciente de Custos em Agentes de LLM

Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents

February 18, 2026

Autores: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

cs.AI

Resumo

Os LLMs (Modelos de Linguagem de Grande Porte) estão a ser cada vez mais utilizados para problemas complexos que não são necessariamente resolvidos numa única resposta, mas que exigem a interação com um ambiente para adquirir informações. Nestes cenários, os LLMs devem raciocinar sobre os compromissos inerentes entre custo e incerteza, decidindo quando parar de explorar e comprometer-se com uma resposta. Por exemplo, numa tarefa de programação, um LLM deve testar um *snippet* de código gerado se estiver incerto sobre a sua correção; o custo de escrever um teste é diferente de zero, mas tipicamente inferior ao custo de cometer um erro. Neste trabalho, mostramos que podemos induzir os LLMs a raciocinar explicitamente sobre o equilíbrio destes compromissos de custo-incerteza, para depois realizarem uma exploração do ambiente mais otimizada. Formalizamos múltiplas tarefas, incluindo recuperação de informação e programação, como problemas de tomada de decisão sequencial sob incerteza. Cada problema tem um estado de ambiente latente sobre o qual se pode raciocinar através de um *prior* que é passado para o agente LLM. Introduzimos uma estrutura denominada Calibrar-Depois-Agir (CTA), na qual fornecemos ao LLM este contexto adicional para lhe permitir agir de forma mais otimizada. Esta melhoria mantém-se mesmo sob treino de Aprendizagem por Reforço (RL) tanto da linha de base como da CTA. Os nossos resultados em QA de busca de informação e numa tarefa de programação simplificada mostram que tornar explícitos os compromissos de custo-benefício com a CTA pode ajudar os agentes a descobrir estratégias de tomada de decisão mais otimizadas.

English

LLMs are increasingly being used for complex problems which are not necessarily resolved in a single response, but require interacting with an environment to acquire information. In these scenarios, LLMs must reason about inherent cost-uncertainty tradeoffs in when to stop exploring and commit to an answer. For instance, on a programming task, an LLM should test a generated code snippet if it is uncertain about the correctness of that code; the cost of writing a test is nonzero, but typically lower than the cost of making a mistake. In this work, we show that we can induce LLMs to explicitly reason about balancing these cost-uncertainty tradeoffs, then perform more optimal environment exploration. We formalize multiple tasks, including information retrieval and coding, as sequential decision-making problems under uncertainty. Each problem has latent environment state that can be reasoned about via a prior which is passed to the LLM agent. We introduce a framework called Calibrate-Then-Act (CTA), where we feed the LLM this additional context to enable it to act more optimally. This improvement is preserved even under RL training of both the baseline and CTA. Our results on information-seeking QA and on a simplified coding task show that making cost-benefit tradeoffs explicit with CTA can help agents discover more optimal decision-making strategies.