Em Direção ao Raciocínio de Segurança em LLMs: Deliberação Agente-AI para Criação de Dados CoT Incorporados em Políticas
Towards Safety Reasoning in LLMs: AI-agentic Deliberation for Policy-embedded CoT Data Creation
May 27, 2025
Autores: Tharindu Kumarage, Ninareh Mehrabi, Anil Ramakrishna, Xinyan Zhao, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris
cs.AI
Resumo
O raciocínio de segurança é um paradigma recente no qual os LLMs (Large Language Models) raciocinam sobre políticas de segurança antes de gerar respostas, mitigando assim limitações nas medidas de segurança existentes, como a recusa excessiva e vulnerabilidades de jailbreak. No entanto, implementar esse paradigma é desafiador devido ao processo intensivo de recursos necessário para criar conjuntos de dados de cadeia de pensamento (CoT) de alta qualidade embutidos em políticas, garantindo que o raciocínio permaneça preciso e livre de alucinações ou conflitos de políticas. Para enfrentar esse desafio, propomos o AIDSAFE: Deliberação Iterativa Agente para Raciocínio de Segurança, uma nova abordagem de geração de dados que aproveita a deliberação multiagente para expandir iterativamente o raciocínio sobre políticas de segurança. Um estágio de refinamento de dados no AIDSAFE garante saídas de alta qualidade, eliminando pensamentos repetitivos, redundantes e enganosos. Os CoTs gerados pelo AIDSAFE fornecem uma base sólida para o treinamento de segurança baseado em ajuste fino supervisionado (SFT). Além disso, para atender à necessidade de dados de preferência em etapas de alinhamento, como o treinamento DPO, introduzimos uma abordagem complementar que usa a ampliação de crenças para criar amostras distintas de CoTs selecionados e rejeitados. Nossas avaliações demonstram que os CoTs gerados pelo AIDSAFE alcançam aderência superior às políticas e qualidade de raciocínio. Consequentemente, mostramos que o ajuste fino de LLMs de código aberto nesses CoTs pode melhorar significativamente a generalização de segurança e a robustez contra jailbreaks, mantendo uma utilidade aceitável e precisão na recusa excessiva. Os conjuntos de dados de CoTs gerados pelo AIDSAFE podem ser encontrados aqui: https://huggingface.co/datasets/AmazonScience/AIDSAFE.
English
Safety reasoning is a recent paradigm where LLMs reason over safety policies
before generating responses, thereby mitigating limitations in existing safety
measures such as over-refusal and jailbreak vulnerabilities. However,
implementing this paradigm is challenging due to the resource-intensive process
of creating high-quality policy-embedded chain-of-thought (CoT) datasets while
ensuring reasoning remains accurate and free from hallucinations or policy
conflicts. To tackle this, we propose AIDSAFE: Agentic Iterative Deliberation
for Safety Reasoning, a novel data generation recipe that leverages multi-agent
deliberation to iteratively expand reasoning on safety policies. A data refiner
stage in AIDSAFE ensures high-quality outputs by eliminating repetitive,
redundant, and deceptive thoughts. AIDSAFE-generated CoTs provide a strong
foundation for supervised fine-tuning (SFT)-based safety training.
Additionally, to address the need of preference data in alignment stages, such
as DPO training, we introduce a supplemental recipe that uses belief
augmentation to create distinct selected and rejected CoT samples. Our
evaluations demonstrate that AIDSAFE-generated CoTs achieve superior policy
adherence and reasoning quality. Consequently, we show that fine-tuning
open-source LLMs on these CoTs can significantly improve safety generalization
and jailbreak robustness while maintaining acceptable utility and over-refusal
accuracy. AIDSAFE-generated CoT datasets can be found here:
https://huggingface.co/datasets/AmazonScience/AIDSAFE