DynaGuard: Динамическая модель защитных барьеров с пользовательскими политиками

Аннотация

Модели-хранители используются для контроля и модерации ответов пользовательских чат-ботов, обеспечивая соблюдение ограничений и выявление нежелательного поведения. Стандартные модели-хранители, такие как LlamaGuard, обнаруживают заранее заданные, статические категории вредоносного контента. Мы предлагаем динамические модели-хранители, которые оценивают текст на основе пользовательских политик, что делает их полезными для различных прикладных областей, не охватываемых стандартными моделями-хранителями. Наши динамические модели могут использоваться для быстрого выявления нарушений политик или с применением цепочки рассуждений, которая формулирует и обосновывает выводы модели. Динамические модели-хранители демонстрируют точность обнаружения статических категорий вредоносного контента, сопоставимую со статическими моделями, при этом выявляют нарушения свободных политик с точностью, сравнимой с передовыми моделями рассуждений, за значительно меньшее время.

English

Guardian models are used to supervise and moderate the outputs of user-facing chatbots, enforcing guardrails and detecting bad behaviors. Standard guardian models like LlamaGuard detect predefined, static categories of harms. We propose dynamic guardian models that evaluate text based on user-defined policies, making them useful for different application domains that are not addressed by standard guardian models. Our dynamic guardian models can be used for fast detection of policy violations or with chain-of-thought reasoning that articulates and justifies the model outputs. Our dynamic guardian models match static models in detection accuracy for static harm categories while identifying violations of free-form policies with accuracy comparable to frontier reasoning models in a fraction of the time.

DynaGuard: Динамическая модель защитных барьеров с пользовательскими политиками

DynaGuard: A Dynamic Guardrail Model With User-Defined Policies

Аннотация

Support