К моделированию приводимой неопределенности для создания надежных агентов на основе больших языковых моделей
Towards Reducible Uncertainty Modeling for Reliable Large Language Model Agents
February 4, 2026
Авторы: Changdae Oh, Seongheon Park, To Eun Kim, Jiatong Li, Wendi Li, Samuel Yeh, Xuefeng Du, Hamed Hassani, Paul Bogdan, Dawn Song, Sharon Li
cs.AI
Аннотация
Количественная оценка неопределённости (КОН) для больших языковых моделей (ИЯМ) является ключевым элементом систем безопасности в повседневных приложениях на основе ИЯМ. Однако, несмотря на всё более широкое развёртывание агентов на основе ИЯМ для решения высокосложных задач, большинство исследований КОН по-прежнему сосредоточено на однократных вопросах и ответах. Мы утверждаем, что исследования КОН должны сместиться в сторону реалистичных сценариев с интерактивными агентами, и что необходима новая принципиальная framework для КОН агентов. В данной статье представлена первая общая формулировка КОН агентов, которая охватывает широкие классы существующих подходов к КОН. В рамках этой формулировки мы показываем, что предыдущие работы неявно трактуют КОН для ИЯМ как процесс накопления неопределённости — подход, который неприменим к интерактивным агентам в открытом мире. В противовес этому мы предлагаем новую перспективу — процесс условного снижения неопределённости, — который явно моделирует reducible uncertainty (снижаемую неопределённость) на протяжении траектории агента, подчёркивая «интерактивность» действий. Исходя из этой перспективы, мы описываем концептуальную framework, чтобы дать практические рекомендации по проектированию КОН для setups с агентами на основе ИЯМ. В заключение мы обсуждаем практические последствия КОН агентов для разработки передовых ИЯМ и domain-specific приложений, а также оставшиеся нерешённые проблемы.
English
Uncertainty quantification (UQ) for large language models (LLMs) is a key building block for safety guardrails of daily LLM applications. Yet, even as LLM agents are increasingly deployed in highly complex tasks, most UQ research still centers on single-turn question-answering. We argue that UQ research must shift to realistic settings with interactive agents, and that a new principled framework for agent UQ is needed. This paper presents the first general formulation of agent UQ that subsumes broad classes of existing UQ setups. Under this formulation, we show that prior works implicitly treat LLM UQ as an uncertainty accumulation process, a viewpoint that breaks down for interactive agents in an open world. In contrast, we propose a novel perspective, a conditional uncertainty reduction process, that explicitly models reducible uncertainty over an agent's trajectory by highlighting "interactivity" of actions. From this perspective, we outline a conceptual framework to provide actionable guidance for designing UQ in LLM agent setups. Finally, we conclude with practical implications of the agent UQ in frontier LLM development and domain-specific applications, as well as open remaining problems.