Vers une modélisation de l'incertitude réductible pour des agents de grands modèles de langage fiables

Towards Reducible Uncertainty Modeling for Reliable Large Language Model Agents

February 4, 2026

papers.authors: Changdae Oh, Seongheon Park, To Eun Kim, Jiatong Li, Wendi Li, Samuel Yeh, Xuefeng Du, Hamed Hassani, Paul Bogdan, Dawn Song, Sharon Li

cs.AI

papers.abstract

La quantification de l'incertitude (UQ) pour les grands modèles de langage (LLM) constitue un élément clé des garde-fous de sécurité des applications quotidiennes des LLM. Pourtant, alors même que les agents LLM sont de plus en plus déployés dans des tâches hautement complexes, la plupart des recherches sur l'UQ se concentrent encore sur le question-réponse en un seul tour. Nous soutenons que la recherche sur l'UQ doit évoluer vers des cadres réalistes avec des agents interactifs, et qu'un nouveau cadre théorique pour l'UQ des agents est nécessaire. Cet article présente la première formulation générale de l'UQ des agents qui englobe de vastes classes de configurations UQ existantes. Dans le cadre de cette formulation, nous montrons que les travaux antérieurs traitent implicitement l'UQ des LLM comme un processus d'accumulation d'incertitude, un point de vue qui s'effondre pour les agents interactifs dans un monde ouvert. En revanche, nous proposons une perspective novatrice, un processus de réduction conditionnelle de l'incertitude, qui modélise explicitement l'incertitude réductible le long de la trajectoire d'un agent en mettant en lumière l'« interactivité » des actions. À partir de cette perspective, nous esquissons un cadre conceptuel pour fournir des orientations actionnables pour la conception de l'UQ dans les configurations d'agents LLM. Enfin, nous concluons par les implications pratiques de l'UQ des agents dans le développement des LLM de pointe et les applications spécifiques à un domaine, ainsi que par les problèmes ouverts restants.

English

Uncertainty quantification (UQ) for large language models (LLMs) is a key building block for safety guardrails of daily LLM applications. Yet, even as LLM agents are increasingly deployed in highly complex tasks, most UQ research still centers on single-turn question-answering. We argue that UQ research must shift to realistic settings with interactive agents, and that a new principled framework for agent UQ is needed. This paper presents the first general formulation of agent UQ that subsumes broad classes of existing UQ setups. Under this formulation, we show that prior works implicitly treat LLM UQ as an uncertainty accumulation process, a viewpoint that breaks down for interactive agents in an open world. In contrast, we propose a novel perspective, a conditional uncertainty reduction process, that explicitly models reducible uncertainty over an agent's trajectory by highlighting "interactivity" of actions. From this perspective, we outline a conceptual framework to provide actionable guidance for designing UQ in LLM agent setups. Finally, we conclude with practical implications of the agent UQ in frontier LLM development and domain-specific applications, as well as open remaining problems.