Rumo à Modelagem de Incerteza Redutível para Agentes Confiáveis de Grandes Modelos de Linguagem

Towards Reducible Uncertainty Modeling for Reliable Large Language Model Agents

February 4, 2026

Autores: Changdae Oh, Seongheon Park, To Eun Kim, Jiatong Li, Wendi Li, Samuel Yeh, Xuefeng Du, Hamed Hassani, Paul Bogdan, Dawn Song, Sharon Li

cs.AI

Resumo

A quantificação de incerteza (UQ) para grandes modelos de linguagem (LLMs) é um componente fundamental para as salvaguardas de segurança das aplicações diárias de LLMs. No entanto, mesmo com os agentes de LLM sendo cada vez mais implantados em tarefas altamente complexas, a maior parte da pesquisa em UQ ainda se concentra em questionários de turno único. Argumentamos que a pesquisa em UQ deve mudar para ambientes realistas com agentes interativos e que é necessário um novo quadro de referência fundamentado para a UQ de agentes. Este artigo apresenta a primeira formulação geral da UQ de agentes que engloba amplas classes de configurações existentes de UQ. Sob esta formulação, mostramos que trabalhos anteriores tratam implicitamente a UQ de LLMs como um processo de acumulação de incerteza, uma perspectiva que se desfaz para agentes interativos em um mundo aberto. Em contraste, propomos uma nova perspectiva, um processo de redução de incerteza condicional, que modela explicitamente a incerteza redutível ao longo da trajetória de um agente, destacando a "interatividade" das ações. A partir desta perspectiva, delineamos um quadro conceitual para fornecer orientação acionável para o projeto de UQ em configurações de agentes de LLM. Por fim, concluímos com as implicações práticas da UQ de agentes no desenvolvimento de LLMs de fronteira e em aplicações específicas de domínio, bem como os problemas em aberto restantes.

English

Uncertainty quantification (UQ) for large language models (LLMs) is a key building block for safety guardrails of daily LLM applications. Yet, even as LLM agents are increasingly deployed in highly complex tasks, most UQ research still centers on single-turn question-answering. We argue that UQ research must shift to realistic settings with interactive agents, and that a new principled framework for agent UQ is needed. This paper presents the first general formulation of agent UQ that subsumes broad classes of existing UQ setups. Under this formulation, we show that prior works implicitly treat LLM UQ as an uncertainty accumulation process, a viewpoint that breaks down for interactive agents in an open world. In contrast, we propose a novel perspective, a conditional uncertainty reduction process, that explicitly models reducible uncertainty over an agent's trajectory by highlighting "interactivity" of actions. From this perspective, we outline a conceptual framework to provide actionable guidance for designing UQ in LLM agent setups. Finally, we conclude with practical implications of the agent UQ in frontier LLM development and domain-specific applications, as well as open remaining problems.