К обеспечению безопасности в рассуждениях языковых моделей: агентно-ориентированное обсуждение для создания данных с встроенной политикой в цепочке рассуждений

Towards Safety Reasoning in LLMs: AI-agentic Deliberation for Policy-embedded CoT Data Creation

May 27, 2025

Авторы: Tharindu Kumarage, Ninareh Mehrabi, Anil Ramakrishna, Xinyan Zhao, Richard Zemel, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris

cs.AI

Аннотация

Безопасное рассуждение — это новый подход, в котором большие языковые модели (LLM) анализируют политики безопасности перед генерацией ответов, что позволяет смягчить ограничения существующих мер безопасности, такие как чрезмерный отказ и уязвимости к взлому. Однако реализация этого подхода сопряжена с трудностями из-за ресурсоемкого процесса создания высококачественных наборов данных с встроенными цепочками рассуждений (CoT), которые соответствуют политикам, сохраняя при этом точность и избегая галлюцинаций или конфликтов политик. Для решения этой проблемы мы предлагаем AIDSAFE: Agentic Iterative Deliberation for Safety Reasoning — новый метод генерации данных, который использует многоагентное обсуждение для итеративного расширения рассуждений о политиках безопасности. Этап уточнения данных в AIDSAFE обеспечивает высокое качество выходных данных, устраняя повторяющиеся, избыточные и обманчивые мысли. CoT, сгенерированные с помощью AIDSAFE, предоставляют прочную основу для обучения безопасности на основе контролируемой тонкой настройки (SFT). Кроме того, для удовлетворения потребности в данных о предпочтениях на этапах согласования, таких как обучение DPO, мы предлагаем дополнительный метод, использующий усиление убеждений для создания четко различимых примеров выбранных и отклоненных CoT. Наши оценки показывают, что CoT, сгенерированные с помощью AIDSAFE, достигают превосходного соответствия политикам и качества рассуждений. В результате мы демонстрируем, что тонкая настройка открытых LLM на этих CoT может значительно улучшить обобщение безопасности и устойчивость к взлому, сохраняя при этом приемлемую полезность и точность в предотвращении чрезмерного отказа. Наборы данных CoT, созданные с помощью AIDSAFE, доступны здесь: https://huggingface.co/datasets/AmazonScience/AIDSAFE.

English

Safety reasoning is a recent paradigm where LLMs reason over safety policies before generating responses, thereby mitigating limitations in existing safety measures such as over-refusal and jailbreak vulnerabilities. However, implementing this paradigm is challenging due to the resource-intensive process of creating high-quality policy-embedded chain-of-thought (CoT) datasets while ensuring reasoning remains accurate and free from hallucinations or policy conflicts. To tackle this, we propose AIDSAFE: Agentic Iterative Deliberation for Safety Reasoning, a novel data generation recipe that leverages multi-agent deliberation to iteratively expand reasoning on safety policies. A data refiner stage in AIDSAFE ensures high-quality outputs by eliminating repetitive, redundant, and deceptive thoughts. AIDSAFE-generated CoTs provide a strong foundation for supervised fine-tuning (SFT)-based safety training. Additionally, to address the need of preference data in alignment stages, such as DPO training, we introduce a supplemental recipe that uses belief augmentation to create distinct selected and rejected CoT samples. Our evaluations demonstrate that AIDSAFE-generated CoTs achieve superior policy adherence and reasoning quality. Consequently, we show that fine-tuning open-source LLMs on these CoTs can significantly improve safety generalization and jailbreak robustness while maintaining acceptable utility and over-refusal accuracy. AIDSAFE-generated CoT datasets can be found here: https://huggingface.co/datasets/AmazonScience/AIDSAFE