Évaluation de la Conformité des Politiques à Grande Échelle dans les Modèles de Langage avec Traces de Raisonnement Politique

Scaling Policy Compliance Assessment in Language Models with Policy Reasoning Traces

September 27, 2025

papers.authors: Joseph Marvin Imperial, Harish Tayyar Madabushi

cs.AI

papers.abstract

L'évaluation de la conformité aux politiques est une tâche fondamentale consistant à déterminer si un cas d'étude respecte strictement un ensemble de règles définies par des humains, plus communément appelées politiques. En pratique, les experts humains suivent un processus systématique et étape par étape pour identifier les violations par rapport aux stipulations spécifiques énoncées dans la politique. Cependant, la documentation de ces processus de raisonnement de référence, de niveau expert, est coûteuse à acquérir. Dans cet article, nous introduisons les Traces de Raisonnement Politique (PRT), une forme de chaînes de raisonnement générées spécialisées qui servent de pont de raisonnement pour améliorer les capacités d'évaluation de la conformité aux politiques d'un modèle de langage (LLM). Nos évaluations empiriques démontrent que l'utilisation des PRT, à la fois pour les scénarios d'inférence et d'entraînement, améliore significativement les performances des modèles open-weight et commerciaux, établissant un nouvel état de l'art pour les politiques HIPAA et GDPR. Au-delà des gains en précision, nous mettons également en évidence comment les PRT peuvent améliorer la capacité d'un LLM à citer avec précision les clauses des politiques, ainsi qu'à influencer les décisions de conformité grâce à leur forte utilisation à partir des chaînes de pensée brutes.

English

Policy compliance assessment is a fundamental task of evaluating whether an input case strictly complies with a set of human-defined rules, more generally known as policies. In practice, human experts follow a systematic, step-by-step process to identify violations with respect to specific stipulations outlined in the policy. However, such documentation of gold-standard, expert-level reasoning processes is costly to acquire. In this paper, we introduce Policy Reasoning Traces (PRT), a form of specialized generated reasoning chains that serve as a reasoning bridge to improve an LLM's policy compliance assessment capabilities. Our empirical evaluations demonstrate that the use of PRTs for both inference-time and training-time scenarios significantly enhances the performance of open-weight and commercial models, setting a new state-of-the-art for HIPAA and GDPR policies. Beyond accuracy gains, we also highlight how PRTs can improve an LLM's ability to accurately cite policy clauses, as well as influence compliance decisions through their high utilization from the raw chains of thought.