Evaluación Escalable del Cumplimiento de Políticas en Modelos de Lenguaje con Trazas de Razonamiento de Políticas

Scaling Policy Compliance Assessment in Language Models with Policy Reasoning Traces

September 27, 2025

Autores: Joseph Marvin Imperial, Harish Tayyar Madabushi

cs.AI

Resumen

La evaluación del cumplimiento de políticas es una tarea fundamental que consiste en determinar si un caso de entrada cumple estrictamente con un conjunto de reglas definidas por humanos, comúnmente conocidas como políticas. En la práctica, los expertos humanos siguen un proceso sistemático y paso a paso para identificar violaciones con respecto a las estipulaciones específicas detalladas en la política. Sin embargo, la documentación de estos procesos de razonamiento de nivel experto, considerados como estándar de oro, es costosa de obtener. En este artículo, presentamos las Trazas de Razonamiento de Políticas (PRT, por sus siglas en inglés), una forma especializada de cadenas de razonamiento generadas que sirven como puente de razonamiento para mejorar las capacidades de evaluación de cumplimiento de políticas de un modelo de lenguaje grande (LLM). Nuestras evaluaciones empíricas demuestran que el uso de PRT en escenarios tanto de inferencia como de entrenamiento mejora significativamente el rendimiento de modelos de acceso abierto y comerciales, estableciendo un nuevo estado del arte para las políticas HIPAA y GDPR. Más allá de las mejoras en precisión, también destacamos cómo las PRT pueden mejorar la capacidad de un LLM para citar con precisión las cláusulas de las políticas, así como influir en las decisiones de cumplimiento a través de su alta utilización en las cadenas de pensamiento originales.

English

Policy compliance assessment is a fundamental task of evaluating whether an input case strictly complies with a set of human-defined rules, more generally known as policies. In practice, human experts follow a systematic, step-by-step process to identify violations with respect to specific stipulations outlined in the policy. However, such documentation of gold-standard, expert-level reasoning processes is costly to acquire. In this paper, we introduce Policy Reasoning Traces (PRT), a form of specialized generated reasoning chains that serve as a reasoning bridge to improve an LLM's policy compliance assessment capabilities. Our empirical evaluations demonstrate that the use of PRTs for both inference-time and training-time scenarios significantly enhances the performance of open-weight and commercial models, setting a new state-of-the-art for HIPAA and GDPR policies. Beyond accuracy gains, we also highlight how PRTs can improve an LLM's ability to accurately cite policy clauses, as well as influence compliance decisions through their high utilization from the raw chains of thought.