Valutazione Scalabile della Conformità alle Politiche nei Modelli Linguistici con Tracciati di Ragionamento sulle Politiche

Scaling Policy Compliance Assessment in Language Models with Policy Reasoning Traces

September 27, 2025

Autori: Joseph Marvin Imperial, Harish Tayyar Madabushi

cs.AI

Abstract

La valutazione della conformità alle politiche è un compito fondamentale che consiste nel determinare se un caso specifico rispetti rigorosamente un insieme di regole definite da esseri umani, comunemente note come politiche. Nella pratica, gli esperti umani seguono un processo sistematico e graduale per identificare eventuali violazioni rispetto alle disposizioni specifiche delineate nella politica. Tuttavia, la documentazione di processi di ragionamento di livello esperto, considerati come standard di riferimento, è costosa da ottenere. In questo articolo, introduciamo le Tracciatura di Ragionamento sulle Politiche (Policy Reasoning Traces, PRT), una forma specializzata di catene di ragionamento generate che fungono da ponte per migliorare le capacità di valutazione della conformità alle politiche di un modello linguistico (LLM). Le nostre valutazioni empiriche dimostrano che l'utilizzo delle PRT sia in scenari di inferenza che di addestramento migliora significativamente le prestazioni di modelli open-weight e commerciali, stabilendo un nuovo stato dell'arte per le politiche HIPAA e GDPR. Oltre ai miglioramenti in termini di accuratezza, evidenziamo anche come le PRT possano potenziare la capacità di un LLM di citare correttamente le clausole delle politiche, nonché influenzare le decisioni di conformità grazie al loro elevato utilizzo nelle catene di pensiero grezze.

English

Policy compliance assessment is a fundamental task of evaluating whether an input case strictly complies with a set of human-defined rules, more generally known as policies. In practice, human experts follow a systematic, step-by-step process to identify violations with respect to specific stipulations outlined in the policy. However, such documentation of gold-standard, expert-level reasoning processes is costly to acquire. In this paper, we introduce Policy Reasoning Traces (PRT), a form of specialized generated reasoning chains that serve as a reasoning bridge to improve an LLM's policy compliance assessment capabilities. Our empirical evaluations demonstrate that the use of PRTs for both inference-time and training-time scenarios significantly enhances the performance of open-weight and commercial models, setting a new state-of-the-art for HIPAA and GDPR policies. Beyond accuracy gains, we also highlight how PRTs can improve an LLM's ability to accurately cite policy clauses, as well as influence compliance decisions through their high utilization from the raw chains of thought.