DynaGuard: Un Modello di Guardrail Dinamico con Politiche Definite dall'Utente

Abstract

I modelli guardian vengono utilizzati per supervisionare e moderare gli output dei chatbot rivolti agli utenti, applicando vincoli e rilevando comportamenti inappropriati. Modelli guardian standard come LlamaGuard individuano categorie predefinite e statiche di danni. Proponiamo modelli guardian dinamici che valutano il testo in base a politiche definite dall'utente, rendendoli utili per diversi domini applicativi non coperti dai modelli guardian standard. I nostri modelli guardian dinamici possono essere utilizzati per il rilevamento rapido di violazioni delle politiche o con un ragionamento a catena di pensiero che articola e giustifica gli output del modello. I nostri modelli guardian dinamici eguagliano i modelli statici in termini di accuratezza di rilevamento per categorie di danni statici, identificando al contempo violazioni di politiche libere con un'accuratezza paragonabile ai modelli di ragionamento all'avanguardia in una frazione del tempo.

English

Guardian models are used to supervise and moderate the outputs of user-facing chatbots, enforcing guardrails and detecting bad behaviors. Standard guardian models like LlamaGuard detect predefined, static categories of harms. We propose dynamic guardian models that evaluate text based on user-defined policies, making them useful for different application domains that are not addressed by standard guardian models. Our dynamic guardian models can be used for fast detection of policy violations or with chain-of-thought reasoning that articulates and justifies the model outputs. Our dynamic guardian models match static models in detection accuracy for static harm categories while identifying violations of free-form policies with accuracy comparable to frontier reasoning models in a fraction of the time.

DynaGuard: Un Modello di Guardrail Dinamico con Politiche Definite dall'Utente

DynaGuard: A Dynamic Guardrail Model With User-Defined Policies

Abstract

Support