Калибровка-и-Действие: Исследование с учетом затрат в агентах на основе больших языковых моделей

Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents

February 18, 2026

Авторы: Wenxuan Ding, Nicholas Tomlin, Greg Durrett

cs.AI

Аннотация

Крупные языковые модели (LLM) все чаще применяются для решения сложных задач, которые не обязательно решаются одним ответом, а требуют взаимодействия со средой для получения информации. В таких сценариях LLM должны учитывать компромисс между затратами и неопределенностью при принятии решения о том, когда прекратить исследование и зафиксировать ответ. Например, при работе с программированием LLM должна тестировать сгенерированный фрагмент кода, если она не уверена в его корректности: стоимость написания теста ненулевая, но обычно ниже, чем цена ошибки. В данной работе мы показываем, что можно побудить LLM к явному анализу балансировки этих компромиссов, что приводит к более оптимальному исследованию среды. Мы формализуем несколько задач, включая информационный поиск и программирование, как проблемы последовательного принятия решений в условиях неопределенности. Каждая задача имеет скрытое состояние среды, о котором можно рассуждать с помощью априорного распределения, передаваемого агенту на основе LLM. Мы представляем фреймворк Calibrate-Then-Act (CTA), в котором LLM получает дополнительный контекст для более оптимальных действий. Это улучшение сохраняется даже при обучении с подкреплением как базового подхода, так и CTA. Наши результаты по информационному поиску в вопросах-ответах и на упрощенной задаче программирования демонстрируют, что явное определение компромиссов "затраты-выгода" с помощью CTA помогает агентам находить более оптимальные стратегии принятия решений.

English

LLMs are increasingly being used for complex problems which are not necessarily resolved in a single response, but require interacting with an environment to acquire information. In these scenarios, LLMs must reason about inherent cost-uncertainty tradeoffs in when to stop exploring and commit to an answer. For instance, on a programming task, an LLM should test a generated code snippet if it is uncertain about the correctness of that code; the cost of writing a test is nonzero, but typically lower than the cost of making a mistake. In this work, we show that we can induce LLMs to explicitly reason about balancing these cost-uncertainty tradeoffs, then perform more optimal environment exploration. We formalize multiple tasks, including information retrieval and coding, as sequential decision-making problems under uncertainty. Each problem has latent environment state that can be reasoned about via a prior which is passed to the LLM agent. We introduce a framework called Calibrate-Then-Act (CTA), where we feed the LLM this additional context to enable it to act more optimally. This improvement is preserved even under RL training of both the baseline and CTA. Our results on information-seeking QA and on a simplified coding task show that making cost-benefit tradeoffs explicit with CTA can help agents discover more optimal decision-making strategies.