Verso una Modellazione dell'Incertezza Riducibile per Agenti Basati su Grandi Modelli Linguistici Affidabili
Towards Reducible Uncertainty Modeling for Reliable Large Language Model Agents
February 4, 2026
Autori: Changdae Oh, Seongheon Park, To Eun Kim, Jiatong Li, Wendi Li, Samuel Yeh, Xuefeng Du, Hamed Hassani, Paul Bogdan, Dawn Song, Sharon Li
cs.AI
Abstract
La quantificazione dell'incertezza (UQ) per i grandi modelli linguistici (LLM) costituisce un elemento fondamentale per le salvaguardie di sicurezza delle applicazioni quotidiane degli LLM. Tuttavia, nonostante gli agenti LLM vengano sempre più impiegati in compiti altamente complessi, la maggior parte della ricerca sull'UQ si concentra ancora su attività di domanda-risposta a turno singolo. Sosteniamo che la ricerca sull'UQ debba spostarsi verso contesti realistici con agenti interattivi e che sia necessario un nuovo quadro metodologico principiato per l'UQ degli agenti. Questo articolo presenta la prima formulazione generale dell'UQ per agenti che ingloba ampie classi di configurazioni UQ esistenti. In base a questa formulazione, dimostriamo che i lavori precedenti trattano implicitamente l'UQ degli LLM come un processo di accumulo dell'incertezza, un punto di vista che risulta inadeguato per agenti interattivi in un mondo aperto. Al contrario, proponiamo una prospettiva innovativa, un processo di riduzione condizionata dell'incertezza, che modella esplicitamente l'incertezza riducibile lungo la traiettoria di un agente, enfatizzando l'"interattività" delle azioni. Da questa prospettiva, delineiamo un quadro concettuale per fornire indicazioni operative per la progettazione dell'UQ nelle configurazioni di agenti LLM. Infine, concludiamo con le implicazioni pratiche dell'UQ per agenti nello sviluppo di LLM di frontiera e nelle applicazioni dominio-specifiche, nonché con i problemi aperti rimanenti.
English
Uncertainty quantification (UQ) for large language models (LLMs) is a key building block for safety guardrails of daily LLM applications. Yet, even as LLM agents are increasingly deployed in highly complex tasks, most UQ research still centers on single-turn question-answering. We argue that UQ research must shift to realistic settings with interactive agents, and that a new principled framework for agent UQ is needed. This paper presents the first general formulation of agent UQ that subsumes broad classes of existing UQ setups. Under this formulation, we show that prior works implicitly treat LLM UQ as an uncertainty accumulation process, a viewpoint that breaks down for interactive agents in an open world. In contrast, we propose a novel perspective, a conditional uncertainty reduction process, that explicitly models reducible uncertainty over an agent's trajectory by highlighting "interactivity" of actions. From this perspective, we outline a conceptual framework to provide actionable guidance for designing UQ in LLM agent setups. Finally, we conclude with practical implications of the agent UQ in frontier LLM development and domain-specific applications, as well as open remaining problems.