Calibra-Poi-Agisci: Esplorazione Consapevole del Costo negli Agenti LLM

Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents

February 18, 2026

Autori: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) vengono sempre più utilizzati per problemi complessi che non necessariamente si risolvono con una singola risposta, ma che richiedono l'interazione con un ambiente per acquisire informazioni. In questi scenari, gli LLM devono ragionare sui compromessi intrinseci tra costo e incertezza riguardo a quando smettere di esplorare e decidere una risposta. Ad esempio, in un'attività di programmazione, un LLM dovrebbe testare un frammento di codice generato se è incerto della sua correttezza; il costo di scrivere un test è diverso da zero, ma tipicamente inferiore al costo di commettere un errore. In questo lavoro, dimostriamo di poter indurre gli LLM a ragionare esplicitamente su come bilanciare questi compromessi costo-incertezza, per poi eseguire un'esplorazione dell'ambiente più ottimale. Formalizziamo più compiti, inclusi il recupero di informazioni e la codifica, come problemi decisionali sequenziali in condizioni di incertezza. Ogni problema possiede uno stato ambientale latente su cui è possibile ragionare tramite un prior che viene passato all'agente LLM. Introduciamo un framework chiamato Calibrate-Then-Act (CTA), in cui forniamo all'LLM questo contesto aggiuntivo per permettergli di agire in modo più ottimale. Questo miglioramento si mantiene anche con l'addestramento tramite apprendimento per rinforzo (RL) sia del modello baseline che del CTA. I nostri risultati su question-answering basato sulla ricerca di informazioni e su un compito di codifica semplificato mostrano che rendere espliciti i compromessi costo-beneficio con il CTA può aiutare gli agenti a scoprire strategie decisionali più ottimali.

English

LLMs are increasingly being used for complex problems which are not necessarily resolved in a single response, but require interacting with an environment to acquire information. In these scenarios, LLMs must reason about inherent cost-uncertainty tradeoffs in when to stop exploring and commit to an answer. For instance, on a programming task, an LLM should test a generated code snippet if it is uncertain about the correctness of that code; the cost of writing a test is nonzero, but typically lower than the cost of making a mistake. In this work, we show that we can induce LLMs to explicitly reason about balancing these cost-uncertainty tradeoffs, then perform more optimal environment exploration. We formalize multiple tasks, including information retrieval and coding, as sequential decision-making problems under uncertainty. Each problem has latent environment state that can be reasoned about via a prior which is passed to the LLM agent. We introduce a framework called Calibrate-Then-Act (CTA), where we feed the LLM this additional context to enable it to act more optimally. This improvement is preserved even under RL training of both the baseline and CTA. Our results on information-seeking QA and on a simplified coding task show that making cost-benefit tradeoffs explicit with CTA can help agents discover more optimal decision-making strategies.