PRvL: Quantificando as Capacidades e Riscos dos Modelos de Linguagem de Grande Escala para a Redação de Informações Pessoais Identificáveis (PII)

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

August 7, 2025

Autores: Leon Garza, Anantaa Kotal, Aritran Piplai, Lavanya Elluri, Prajit Das, Aman Chadha

cs.AI

Resumo

A redação de Informações Pessoalmente Identificáveis (PII) a partir de texto não estruturado é crucial para garantir a privacidade dos dados em domínios regulamentados. Embora abordagens anteriores tenham se baseado em sistemas baseados em regras e modelos de Reconhecimento de Entidades Nomeadas (NER) específicos de domínio, esses métodos falham em generalizar entre formatos e contextos. Avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) oferecem uma alternativa promissora, mas o impacto das escolhas arquitetônicas e de treinamento no desempenho da redação ainda é pouco explorado. LLMs têm demonstrado forte desempenho em tarefas que exigem compreensão contextual da linguagem, incluindo a redação de PII em texto livre. Trabalhos anteriores sugerem que, com a adaptação adequada, LLMs podem se tornar aprendizes eficazes de privacidade contextual. No entanto, as consequências das escolhas arquitetônicas e de treinamento para a Redação de PII permanecem pouco exploradas. Neste trabalho, apresentamos uma análise abrangente de LLMs como sistemas de Redação de PII que preservam a privacidade. Avaliamos uma variedade de arquiteturas de LLMs e estratégias de treinamento quanto à sua eficácia na Redação de PII. Nossa análise mede o desempenho da redação, a preservação semântica e o vazamento de PII, e compara esses resultados com latência e custo computacional. Os resultados fornecem orientações práticas para configurar redatores baseados em LLMs que sejam precisos, eficientes e conscientes da privacidade. Para apoiar a reprodutibilidade e a implantação no mundo real, lançamos o PRvL, um conjunto de modelos ajustados e ferramentas de avaliação de código aberto para Redação de PII de propósito geral. O PRvL é construído inteiramente em LLMs de código aberto e suporta múltiplas configurações de inferência para flexibilidade e conformidade. Ele foi projetado para ser facilmente personalizado para diferentes domínios e totalmente operável em ambientes seguros e autogerenciados. Isso permite que os proprietários de dados realizem redações sem depender de serviços de terceiros ou expor conteúdo sensível além de sua própria infraestrutura.

English

Redacting Personally Identifiable Information (PII) from unstructured text is critical for ensuring data privacy in regulated domains. While earlier approaches have relied on rule-based systems and domain-specific Named Entity Recognition (NER) models, these methods fail to generalize across formats and contexts. Recent advances in Large Language Models (LLMs) offer a promising alternative, yet the effect of architectural and training choices on redaction performance remains underexplored. LLMs have demonstrated strong performance in tasks that require contextual language understanding, including the redaction of PII in free-form text. Prior work suggests that with appropriate adaptation, LLMs can become effective contextual privacy learners. However, the consequences of architectural and training choices for PII Redaction remain underexplored. In this work, we present a comprehensive analysis of LLMs as privacy-preserving PII Redaction systems. We evaluate a range of LLM architectures and training strategies for their effectiveness in PII Redaction. Our analysis measures redaction performance, semantic preservation, and PII leakage, and compares these outcomes against latency and computational cost. The results provide practical guidance for configuring LLM-based redactors that are accurate, efficient, and privacy-aware. To support reproducibility and real-world deployment, we release PRvL, an open-source suite of fine-tuned models, and evaluation tools for general-purpose PII Redaction. PRvL is built entirely on open-source LLMs and supports multiple inference settings for flexibility and compliance. It is designed to be easily customized for different domains and fully operable within secure, self-managed environments. This enables data owners to perform redactions without relying on third-party services or exposing sensitive content beyond their own infrastructure.