Agent-BRACE: Desacoplando Crenças de Ações em Tarefas de Longo Horizonte por meio da Incerteza de Estado Verbalizada

Resumo

Modelos de linguagem de grande escala (LLMs) são cada vez mais implantados em tarefas de horizonte longo em ambientes parcialmente observáveis, onde precisam agir enquanto inferem e rastreiam um estado complexo do ambiente ao longo de várias etapas. Isso leva a dois desafios: a observabilidade parcial exige a manutenção de incerteza sobre atributos não observados do mundo, e o longo histórico de interação faz com que o contexto cresça sem limites, diluindo informações relevantes para a tarefa. Uma solução fundamentada para ambos os desafios é o estado de crença: uma distribuição posterior sobre os estados do ambiente dadas as observações e ações passadas, que codifica de forma compacta o histórico para a tomada de decisão, independentemente da duração do episódio. No entanto, em agentes baseados em LLMs, a natureza aberta do texto torna incerto como representar tal distribuição. Portanto, apresentamos o Agent-BRACE: Representação do Estado de Crença do Agente via Abstração e Estimação de Confiança, um método que desacopla um agente LLM em um modelo de estado de crença e um modelo de política, otimizados conjuntamente por meio de aprendizado por reforço. O modelo de estado de crença produz uma aproximação estruturada da distribuição de crença: um conjunto de afirmações atômicas em linguagem natural sobre o ambiente, cada uma anotada com um rótulo ordinal de certeza verbalizada variando de certo a desconhecido. O modelo de política se condiciona nessa crença aproximada, compacta e estruturada, em vez do histórico completo, aprendendo a selecionar ações sob incerteza explícita. Em ambientes linguísticos incorporados, parcialmente observáveis e de horizonte longo, o Agent-BRACE alcança uma melhoria absoluta média de +14,5% (Qwen2.5-3B-Instruct) e +5,3% (Qwen3-4B-Instruct), superando fortes bases de aprendizado por reforço, mantendo uma janela de contexto quase constante, independente da duração do episódio. Análises adicionais mostram que a crença aprendida se torna cada vez mais calibrada ao longo de um episódio à medida que as evidências se acumulam.

English

Large language models (LLMs) are increasingly deployed on long-horizon tasks in partially observable environments, where they must act while inferring and tracking a complex environment state over many steps. This leads to two challenges: partial observability requires maintaining uncertainty over unobserved world attributes, and long interaction history causes context to grow without bound, diluting task-relevant information. A principled solution to both challenges is a belief state: a posterior distribution over environment states given past observations and actions, which compactly encodes history for decision making regardless of episode length. In LLM agents, however, the open-ended nature of text makes it unclear how to represent such a distribution. Therefore, we introduce Agent-BRACE: Agent Belief state Representation via Abstraction and Confidence Estimation, a method that decouples an LLM agent into a belief state model and a policy model, jointly optimized via reinforcement learning. The belief state model produces a structured approximation of the belief distribution: a set of atomic natural language claims about the environment, each annotated with an ordinal verbalized certainty label ranging from certain to unknown. The policy model conditions on this compact, structured approximate belief rather than the full history, learning to select actions under explicit uncertainty. Across long-horizon, partially observable embodied language environments, Agent-BRACE achieves an average absolute improvement of +14.5% (Qwen2.5-3B-Instruct) and +5.3% (Qwen3-4B-Instruct), outperforming strong RL baselines while maintaining a near-constant context window independent of episode length. Further analysis shows that the learned belief becomes increasingly calibrated over the course of an episode as evidence accumulates.