DynaGuard: Um Modelo de Guardrail Dinâmico com Políticas Definidas pelo Usuário

Resumo

Modelos guardiões são utilizados para supervisionar e moderar as saídas de chatbots voltados para usuários, aplicando salvaguardas e detectando comportamentos inadequados. Modelos guardiões padrão, como o LlamaGuard, detectam categorias de danos predefinidas e estáticas. Propomos modelos guardiões dinâmicos que avaliam textos com base em políticas definidas pelo usuário, tornando-os úteis para diferentes domínios de aplicação que não são abordados por modelos guardiões padrão. Nossos modelos guardiões dinâmicos podem ser usados para detecção rápida de violações de políticas ou com raciocínio em cadeia de pensamento que articula e justifica as saídas do modelo. Nossos modelos guardiões dinâmicos igualam os modelos estáticos em precisão de detecção para categorias de danos estáticos, enquanto identificam violações de políticas de forma livre com uma precisão comparável a modelos de raciocínio de ponta, em uma fração do tempo.

English

Guardian models are used to supervise and moderate the outputs of user-facing chatbots, enforcing guardrails and detecting bad behaviors. Standard guardian models like LlamaGuard detect predefined, static categories of harms. We propose dynamic guardian models that evaluate text based on user-defined policies, making them useful for different application domains that are not addressed by standard guardian models. Our dynamic guardian models can be used for fast detection of policy violations or with chain-of-thought reasoning that articulates and justifies the model outputs. Our dynamic guardian models match static models in detection accuracy for static harm categories while identifying violations of free-form policies with accuracy comparable to frontier reasoning models in a fraction of the time.

DynaGuard: Um Modelo de Guardrail Dinâmico com Políticas Definidas pelo Usuário

DynaGuard: A Dynamic Guardrail Model With User-Defined Policies

Resumo

Support