Hacia un Modelado de Incertidumbre Reducible para Agentes de Modelos de Lenguaje Grandes Confiables
Towards Reducible Uncertainty Modeling for Reliable Large Language Model Agents
February 4, 2026
Autores: Changdae Oh, Seongheon Park, To Eun Kim, Jiatong Li, Wendi Li, Samuel Yeh, Xuefeng Du, Hamed Hassani, Paul Bogdan, Dawn Song, Sharon Li
cs.AI
Resumen
La cuantificación de incertidumbre (UQ) para modelos de lenguaje grandes (LLM) es un componente fundamental para las salvaguardas de seguridad en las aplicaciones diarias de LLM. Sin embargo, a pesar de que los agentes de LLM se despliegan cada vez más en tareas altamente complejas, la mayoría de la investigación en UQ aún se centra en la respuesta a preguntas de una sola interacción. Sostenemos que la investigación en UQ debe desplazarse hacia entornos realistas con agentes interactivos y que se necesita un nuevo marco de principios para la UQ de agentes. Este artículo presenta la primera formulación general de la UQ de agentes que engloba amplias clases de configuraciones de UQ existentes. Bajo esta formulación, demostramos que trabajos previos tratan implícitamente la UQ de LLM como un proceso de acumulación de incertidumbre, un punto de vista que se desmorona para agentes interactivos en un mundo abierto. En contraste, proponemos una nueva perspectiva, un proceso de reducción de incertidumbre condicional, que modela explícitamente la incertidumbre reducible a lo largo de la trayectoria de un agente resaltando la "interactividad" de las acciones. Desde esta perspectiva, esbozamos un marco conceptual para proporcionar una guía práctica para diseñar UQ en configuraciones de agentes de LLM. Finalmente, concluimos con las implicaciones prácticas de la UQ de agentes en el desarrollo de LLM de vanguardia y aplicaciones específicas de dominio, así como con los problemas abiertos restantes.
English
Uncertainty quantification (UQ) for large language models (LLMs) is a key building block for safety guardrails of daily LLM applications. Yet, even as LLM agents are increasingly deployed in highly complex tasks, most UQ research still centers on single-turn question-answering. We argue that UQ research must shift to realistic settings with interactive agents, and that a new principled framework for agent UQ is needed. This paper presents the first general formulation of agent UQ that subsumes broad classes of existing UQ setups. Under this formulation, we show that prior works implicitly treat LLM UQ as an uncertainty accumulation process, a viewpoint that breaks down for interactive agents in an open world. In contrast, we propose a novel perspective, a conditional uncertainty reduction process, that explicitly models reducible uncertainty over an agent's trajectory by highlighting "interactivity" of actions. From this perspective, we outline a conceptual framework to provide actionable guidance for designing UQ in LLM agent setups. Finally, we conclude with practical implications of the agent UQ in frontier LLM development and domain-specific applications, as well as open remaining problems.