SafeHarbor: Salvaguarda Hierárquica com Memória Aumentada para Segurança de Agentes LLM

Resumo

Com a rápida evolução dos modelos fundamentais, os agentes de Modelos de Linguagem de Grande Escala (LLM) têm demonstrado capacidades cada vez mais poderosas de uso de ferramentas. No entanto, essa proficiência introduz riscos significativos de segurança, pois agentes mal-intencionados podem manipular os agentes para executar ferramentas e gerar conteúdo prejudicial. Embora os mecanismos defensivos existentes sejam eficazes, eles frequentemente sofrem do problema de recusa excessiva, onde o aumento do rigor de segurança compromete a utilidade do agente em tarefas benignas. Para mitigar essa troca, propomos o SafeHarbor, uma estrutura inovadora projetada para estabelecer limites de decisão precisos para agentes LLM. Ao contrário das diretrizes estáticas, o SafeHarbor extrai regras de defesa sensíveis ao contexto por meio de geração adversarial aprimorada. Projetamos um sistema de memória hierárquica local para injeção dinâmica de regras, oferecendo uma solução eficiente, plug-and-play e que não requer treinamento. Além disso, introduzimos um mecanismo de autoevolução baseado em entropia da informação que otimiza continuamente a estrutura da memória por meio de divisão e mesclagem dinâmicas de nós. Extensos experimentos demonstram que o SafeHarbor atinge desempenho de ponta tanto em tarefas benignas ambíguas quanto em ataques maliciosos explícitos, notadamente alcançando um pico de utilidade benigna de 63,6% no GPT-4o, mantendo uma taxa de recusa robusta superior a 93% contra solicitações prejudiciais. O código-fonte está disponível publicamente em https://github.com/ljj-cyber/SafeHarbor.

English

With the rapid evolution of foundation models, Large Language Model (LLM) agents have demonstrated increasingly powerful tool-use capabilities. However, this proficiency introduces significant security risks, as malicious actors can manipulate agents into executing tools to generate harmful content. While existing defensive mechanisms are effective, they frequently suffer from the over-refusal problem, where increased safety strictness compromises the agent's utility on benign tasks. To mitigate this trade-off, we propose SafeHarbor, a novel framework designed to establish precise decision boundaries for LLM agents. Unlike static guidelines, SafeHarbor extracts context-aware defense rules through enhanced adversarial generation. We design a local hierarchical memory system for dynamic rule injection, offering a training-free, efficient, and plug-and-play solution. Furthermore, we introduce an information entropy-based self-evolution mechanism that continuously optimizes the memory structure through dynamic node splitting and merging. Extensive experiments demonstrate that SafeHarbor achieves state-of-the-art performance on both ambiguous benign tasks and explicit malicious attacks, notably attaining a peak benign utility of 63.6\% on GPT-4o while maintaining a robust refusal rate exceeding 93\% against harmful requests. The source code is publicly available at https://github.com/ljj-cyber/SafeHarbor.