Schaalbaarheid van Beoordeling van Beleidsconformiteit in Taalmodellen met Beleidsredeneringstrajecten

Scaling Policy Compliance Assessment in Language Models with Policy Reasoning Traces

September 27, 2025

Auteurs: Joseph Marvin Imperial, Harish Tayyar Madabushi

cs.AI

Samenvatting

Beoordeling van beleidsnaleving is een fundamentele taak waarbij wordt geëvalueerd of een invoercase strikt voldoet aan een reeks door mensen gedefinieerde regels, ook wel bekend als beleidsregels. In de praktijk volgen menselijke experts een systematisch, stapsgewijs proces om overtredingen te identificeren met betrekking tot specifieke bepalingen die in het beleid zijn uiteengezet. Echter, het verkrijgen van dergelijke documentatie van goudstandaard, expertniveau redeneerprocessen is kostbaar. In dit artikel introduceren we Policy Reasoning Traces (PRT), een vorm van gespecialiseerde gegenereerde redeneerketens die dienen als een redeneerbrug om de beleidsnalevingsbeoordelingscapaciteiten van een LLM te verbeteren. Onze empirische evaluaties tonen aan dat het gebruik van PRTs voor zowel inferentie-tijd als trainings-tijd scenario's de prestaties van open-weight en commerciële modellen aanzienlijk verbetert, wat een nieuwe state-of-the-art oplevert voor HIPAA- en GDPR-beleidsregels. Naast nauwkeurigheidswinst benadrukken we ook hoe PRTs het vermogen van een LLM kunnen verbeteren om beleidsclausules nauwkeurig te citeren, evenals nalevingsbeslissingen kunnen beïnvloeden door hun hoge gebruik vanuit de ruwe redeneerketens.

English

Policy compliance assessment is a fundamental task of evaluating whether an input case strictly complies with a set of human-defined rules, more generally known as policies. In practice, human experts follow a systematic, step-by-step process to identify violations with respect to specific stipulations outlined in the policy. However, such documentation of gold-standard, expert-level reasoning processes is costly to acquire. In this paper, we introduce Policy Reasoning Traces (PRT), a form of specialized generated reasoning chains that serve as a reasoning bridge to improve an LLM's policy compliance assessment capabilities. Our empirical evaluations demonstrate that the use of PRTs for both inference-time and training-time scenarios significantly enhances the performance of open-weight and commercial models, setting a new state-of-the-art for HIPAA and GDPR policies. Beyond accuracy gains, we also highlight how PRTs can improve an LLM's ability to accurately cite policy clauses, as well as influence compliance decisions through their high utilization from the raw chains of thought.