DynaGuard: Een dynamisch guardrail-model met door gebruikers gedefinieerde beleidsregels

DynaGuard: A Dynamic Guardrail Model With User-Defined Policies

September 2, 2025

Auteurs: Monte Hoover, Vatsal Baherwani, Neel Jain, Khalid Saifullah, Joseph Vincent, Chirag Jain, Melissa Kazemi Rad, C. Bayan Bruss, Ashwinee Panda, Tom Goldstein

cs.AI

Samenvatting

Guardianmodellen worden gebruikt om de uitvoer van gebruikersgerichte chatbots te begeleiden en te modereren, waarbij ze richtlijnen handhaven en ongewenst gedrag detecteren. Standaard guardianmodellen zoals LlamaGuard detecteren vooraf gedefinieerde, statische categorieën van schadelijke inhoud. Wij stellen dynamische guardianmodellen voor die tekst evalueren op basis van door gebruikers gedefinieerde beleidsregels, waardoor ze nuttig zijn voor verschillende toepassingsdomeinen die niet worden afgedekt door standaard guardianmodellen. Onze dynamische guardianmodellen kunnen worden gebruikt voor snelle detectie van beleidsschendingen of in combinatie met keten-van-redenering (chain-of-thought) die de modeluitvoer articuleert en rechtvaardigt. Onze dynamische guardianmodellen evenaren statische modellen in detectienauwkeurigheid voor statische schadelijke categorieën, terwijl ze schendingen van vrije-vorm-beleidsregels identificeren met een nauwkeurigheid die vergelijkbaar is met geavanceerde redeneermodellen, maar in een fractie van de tijd.

English

Guardian models are used to supervise and moderate the outputs of user-facing chatbots, enforcing guardrails and detecting bad behaviors. Standard guardian models like LlamaGuard detect predefined, static categories of harms. We propose dynamic guardian models that evaluate text based on user-defined policies, making them useful for different application domains that are not addressed by standard guardian models. Our dynamic guardian models can be used for fast detection of policy violations or with chain-of-thought reasoning that articulates and justifies the model outputs. Our dynamic guardian models match static models in detection accuracy for static harm categories while identifying violations of free-form policies with accuracy comparable to frontier reasoning models in a fraction of the time.