Calibrar-y-Actuar: Exploración Consciente de Costos en Agentes de LLM

Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents

February 18, 2026

Autores: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

cs.AI

Resumen

Los LLM se utilizan cada vez más para problemas complejos que no necesariamente se resuelven en una sola respuesta, sino que requieren interactuar con un entorno para adquirir información. En estos escenarios, los LLM deben razonar sobre las compensaciones inherentes entre costo e incertidumbre para decidir cuándo dejar de explorar y comprometerse con una respuesta. Por ejemplo, en una tarea de programación, un LLM debería probar un fragmento de código generado si tiene dudas sobre su corrección; el costo de escribir una prueba no es cero, pero normalmente es menor que el costo de cometer un error. En este trabajo, demostramos que podemos inducir a los LLM a razonar explícitamente sobre cómo equilibrar estas compensaciones entre costo e incertidumbre, para luego realizar una exploración del entorno más óptima. Formalizamos múltiples tareas, incluyendo la recuperación de información y la codificación, como problemas de toma de decisiones secuenciales bajo incertidumbre. Cada problema tiene un estado del entorno latente sobre el que se puede razonar mediante un *prior* que se pasa al agente LLM. Introducimos un marco llamado *Calibrate-Then-Act* (CTA), donde proporcionamos al LLM este contexto adicional para permitirle actuar de manera más óptima. Esta mejora se mantiene incluso bajo entrenamiento por RL tanto de la línea base como de CTA. Nuestros resultados en QA de búsqueda de información y en una tarea de codificación simplificada muestran que hacer explícitas las compensaciones costo-beneficio con CTA puede ayudar a los agentes a descubrir estrategias de toma de decisiones más óptimas.

English

LLMs are increasingly being used for complex problems which are not necessarily resolved in a single response, but require interacting with an environment to acquire information. In these scenarios, LLMs must reason about inherent cost-uncertainty tradeoffs in when to stop exploring and commit to an answer. For instance, on a programming task, an LLM should test a generated code snippet if it is uncertain about the correctness of that code; the cost of writing a test is nonzero, but typically lower than the cost of making a mistake. In this work, we show that we can induce LLMs to explicitly reason about balancing these cost-uncertainty tradeoffs, then perform more optimal environment exploration. We formalize multiple tasks, including information retrieval and coding, as sequential decision-making problems under uncertainty. Each problem has latent environment state that can be reasoned about via a prior which is passed to the LLM agent. We introduce a framework called Calibrate-Then-Act (CTA), where we feed the LLM this additional context to enable it to act more optimally. This improvement is preserved even under RL training of both the baseline and CTA. Our results on information-seeking QA and on a simplified coding task show that making cost-benefit tradeoffs explicit with CTA can help agents discover more optimal decision-making strategies.