PRvL: 個人識別情報（PII）編集における大規模言語モデルの能力とリスクの定量化

要旨

非構造化テキストから個人識別情報（PII）を編集することは、規制された領域におけるデータプライバシーを確保する上で重要である。従来のアプローチでは、ルールベースのシステムやドメイン固有の固有表現認識（NER）モデルに依存してきたが、これらの手法は形式や文脈を超えて一般化することができない。近年の大規模言語モデル（LLM）の進展は有望な代替手段を提供するが、アーキテクチャやトレーニングの選択が編集性能に与える影響はまだ十分に検討されていない。LLMは、自由形式のテキストにおけるPIIの編集を含む、文脈的な言語理解を必要とするタスクで高い性能を発揮している。先行研究によれば、適切な適応を行うことで、LLMは効果的な文脈的プライバシー学習者となり得る。しかし、PII編集におけるアーキテクチャとトレーニングの選択の影響はまだ十分に検討されていない。本研究では、プライバシー保護型PII編集システムとしてのLLMの包括的な分析を提示する。我々は、PII編集における有効性を評価するために、さまざまなLLMアーキテクチャとトレーニング戦略を検討する。分析では、編集性能、意味の保存、PII漏洩を測定し、これらの結果をレイテンシと計算コストと比較する。結果は、正確で効率的かつプライバシーを意識したLLMベースの編集システムを構成するための実践的な指針を提供する。再現性と実世界での展開を支援するため、我々はPRvLを公開する。PRvLは、オープンソースのLLMに基づいて構築された、汎用PII編集のためのファインチューニング済みモデルと評価ツールのスイートである。PRvLは、柔軟性とコンプライアンスを確保するために複数の推論設定をサポートし、異なるドメインに容易にカスタマイズ可能で、安全な自己管理環境内で完全に運用可能なように設計されている。これにより、データ所有者は、サードパーティサービスに依存することなく、または自社のインフラストラクチャを超えて機密コンテンツを公開することなく、編集を実行することが可能となる。

English

Redacting Personally Identifiable Information (PII) from unstructured text is critical for ensuring data privacy in regulated domains. While earlier approaches have relied on rule-based systems and domain-specific Named Entity Recognition (NER) models, these methods fail to generalize across formats and contexts. Recent advances in Large Language Models (LLMs) offer a promising alternative, yet the effect of architectural and training choices on redaction performance remains underexplored. LLMs have demonstrated strong performance in tasks that require contextual language understanding, including the redaction of PII in free-form text. Prior work suggests that with appropriate adaptation, LLMs can become effective contextual privacy learners. However, the consequences of architectural and training choices for PII Redaction remain underexplored. In this work, we present a comprehensive analysis of LLMs as privacy-preserving PII Redaction systems. We evaluate a range of LLM architectures and training strategies for their effectiveness in PII Redaction. Our analysis measures redaction performance, semantic preservation, and PII leakage, and compares these outcomes against latency and computational cost. The results provide practical guidance for configuring LLM-based redactors that are accurate, efficient, and privacy-aware. To support reproducibility and real-world deployment, we release PRvL, an open-source suite of fine-tuned models, and evaluation tools for general-purpose PII Redaction. PRvL is built entirely on open-source LLMs and supports multiple inference settings for flexibility and compliance. It is designed to be easily customized for different domains and fully operable within secure, self-managed environments. This enables data owners to perform redactions without relying on third-party services or exposing sensitive content beyond their own infrastructure.

PRvL: 個人識別情報（PII）編集における大規模言語モデルの能力とリスクの定量化

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

要旨

Support