Avaliação de Conformidade de Políticas em Escala em Modelos de Linguagem com Rastros de Raciocínio de Políticas

Scaling Policy Compliance Assessment in Language Models with Policy Reasoning Traces

September 27, 2025

Autores: Joseph Marvin Imperial, Harish Tayyar Madabushi

cs.AI

Resumo

A avaliação de conformidade de políticas é uma tarefa fundamental que consiste em determinar se um caso de entrada está em estrita conformidade com um conjunto de regras definidas por humanos, mais comumente conhecidas como políticas. Na prática, especialistas humanos seguem um processo sistemático e passo a passo para identificar violações em relação a estipulações específicas delineadas na política. No entanto, a documentação desses processos de raciocínio de alto nível, considerados padrão-ouro, é custosa de se obter. Neste artigo, introduzimos os Rastros de Raciocínio de Políticas (Policy Reasoning Traces - PRT), uma forma de cadeias de raciocínio geradas e especializadas que servem como uma ponte de raciocínio para melhorar as capacidades de avaliação de conformidade de políticas de um modelo de linguagem (LLM). Nossas avaliações empíricas demonstram que o uso de PRTs tanto em cenários de inferência quanto de treinamento melhora significativamente o desempenho de modelos de código aberto e comerciais, estabelecendo um novo estado da arte para políticas HIPAA e GDPR. Além dos ganhos em precisão, também destacamos como os PRTs podem aprimorar a capacidade de um LLM de citar com precisão cláusulas das políticas, bem como influenciar decisões de conformidade por meio de sua alta utilização a partir das cadeias de pensamento brutas.

English

Policy compliance assessment is a fundamental task of evaluating whether an input case strictly complies with a set of human-defined rules, more generally known as policies. In practice, human experts follow a systematic, step-by-step process to identify violations with respect to specific stipulations outlined in the policy. However, such documentation of gold-standard, expert-level reasoning processes is costly to acquire. In this paper, we introduce Policy Reasoning Traces (PRT), a form of specialized generated reasoning chains that serve as a reasoning bridge to improve an LLM's policy compliance assessment capabilities. Our empirical evaluations demonstrate that the use of PRTs for both inference-time and training-time scenarios significantly enhances the performance of open-weight and commercial models, setting a new state-of-the-art for HIPAA and GDPR policies. Beyond accuracy gains, we also highlight how PRTs can improve an LLM's ability to accurately cite policy clauses, as well as influence compliance decisions through their high utilization from the raw chains of thought.