Auto-Evolução On-Policy via Trajetórias de Falha para o Alinhamento de Segurança Agentivo

Resumo

Agentes LLM que utilizam ferramentas falham através de trajetórias, e não apenas nas respostas finais, pois podem executar chamadas de ferramentas inseguras, seguir instruções injetadas, cumprir solicitações prejudiciais ou recusar excessivamente tarefas benignas, apesar de produzirem uma resposta aparentemente segura. Os sinais existentes de alinhamento de segurança são em grande parte ao nível da resposta ou fora da política, e frequentemente incorrem num compromisso segurança-utilidade: melhorar a segurança do agente ocorre à custa de uma degradação do desempenho da tarefa. Tais recompensas esparsas e de objetivo único limitam severamente a usabilidade no mundo real. Para colmatar esta lacuna, propomos FATE, uma estrutura autoevolutiva on-policy que transforma falhas pontuadas por verificadores em supervisão de reparação sem demonstrações de especialistas. Para cada falha, a mesma política propõe candidatos de reparação, que são então reavaliados por verificadores e filtrados em termos de segurança, utilidade, controlo de recusa excessiva e validade da trajetória. Esta informação densa ao nível da trajetória é então usada como sinal de supervisão para a autoevolução do agente. Durante este processo, introduzimos ainda a Otimização de Política de Fronteira de Pareto (PFPO), combinando aquecimento supervisionado com otimização de política sensível a Pareto para preservar os compromissos segurança-utilidade. Experiências em AgentDojo, AgentHarm e ATBench mostram que a FATE melhora a segurança em diferentes modelos e escalas, preservando simultaneamente o comportamento útil. Comparada com linhas de base sólidas, a FATE reduz a taxa de sucesso de ataque em 33,5%, a conformidade prejudicial em 82,6% e melhora o diagnóstico externo de segurança de trajetórias em 6,5%. Estes resultados sugerem que trajetórias falhadas podem fornecer supervisão de reparação estruturada para agentes autoevolutivos mais seguros.

English

Tool-using LLM agents fail through trajectories rather than only final responses, as they may execute unsafe tool calls, follow injected instructions, comply with harmful requests, or over-refuse benign tasks despite producing a seemingly safe answer. Existing safety-alignment signals are largely response-level or off-policy, and often incur a safety-utility trade-off: improving agent safety comes at the cost of degraded task performance. Such sparse and single-objective rewards severely limit real-world usability. To bridge this gap, we propose FATE, an on-policy self-evolving framework that transforms verifier-scored failures into repair supervision without expert demonstrations. For each failure, the same policy proposes repair candidates, which are then re-scored by verifiers and filtered across security, utility, over-refusal control, and trajectory validity. This dense trajectory-level information is then used as a supervision signal for agent self-evolution. During this process, we further introduce Pareto-Front Policy Optimization (PFPO), combining supervised warmup with Pareto-aware policy optimization to preserve safety-utility trade-offs. Experiments on AgentDojo, AgentHarm, and ATBench show that FATE improves safety across different models and scales while preserving useful behavior. Compared with strong baselines, FATE reduces attack success rate by 33.5%, harmful compliance by 82.6%, and improves external trajectory-safety diagnosis by 6.5%. These results suggest that failed trajectories can provide structured repair supervision for safer self-evolving agents.