Kalibreer-Dan-Handel: Kostbewuste Verkenning in LLM-Agenten

Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents

February 18, 2026

Auteurs: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) worden in toenemende mate ingezet voor complexe problemen die niet noodzakelijkerwijs in één reactie worden opgelost, maar waarbij interactie met een omgeving nodig is om informatie te vergaren. In dergelijke scenario's moeten LLM's redeneren over inherente afwegingen tussen kosten en onzekerheid: wanneer moeten ze stoppen met verkennen en zich vastleggen op een antwoord? Bij een programmeertaak moet een LLM bijvoorbeeld een gegenereerd codefragment testen als het onzeker is over de correctheid ervan; de kosten van het schrijven van een test zijn niet nul, maar zijn doorgaans lager dan de kosten van het maken van een fout. In dit werk tonen we aan dat we LLM's kunnen aanzetten om expliciet te redeneren over het in evenwicht brengen van deze afwegingen tussen kosten en onzekerheid, waardoor ze optimaalere verkenning van de omgeving kunnen uitvoeren. We formaliseren meerdere taken, waaronder informatie-ophaling en programmeren, als sequentiële beslissingsproblemen onder onzekerheid. Elk probleem heeft een latente omgevingstoestand waarover kan worden geredeneerd via een prior die aan het LLM-agent wordt doorgegeven. We introduceren een raamwerk genaamd Kalibreer-Dan-Handel (Calibrate-Then-Act, CTA), waarbij we de LLM deze aanvullende context voeden om hem in staat te stellen optimaal te handelen. Deze verbetering blijft behouden, zelfs tijdens reinforcement learning-training van zowel de baseline als CTA. Onze resultaten voor informatiezoekende vraag-antwoordtaken en voor een vereenvoudigde programmeertaak tonen aan dat het expliciet maken van kosten-batenafwegingen met CTA agenten kan helpen om optimale beslissingsstrategieën te ontdekken.

English

LLMs are increasingly being used for complex problems which are not necessarily resolved in a single response, but require interacting with an environment to acquire information. In these scenarios, LLMs must reason about inherent cost-uncertainty tradeoffs in when to stop exploring and commit to an answer. For instance, on a programming task, an LLM should test a generated code snippet if it is uncertain about the correctness of that code; the cost of writing a test is nonzero, but typically lower than the cost of making a mistake. In this work, we show that we can induce LLMs to explicitly reason about balancing these cost-uncertainty tradeoffs, then perform more optimal environment exploration. We formalize multiple tasks, including information retrieval and coding, as sequential decision-making problems under uncertainty. Each problem has latent environment state that can be reasoned about via a prior which is passed to the LLM agent. We introduce a framework called Calibrate-Then-Act (CTA), where we feed the LLM this additional context to enable it to act more optimally. This improvement is preserved even under RL training of both the baseline and CTA. Our results on information-seeking QA and on a simplified coding task show that making cost-benefit tradeoffs explicit with CTA can help agents discover more optimal decision-making strategies.