포지션: 프라이버시는 단순히 암기 문제가 아닙니다!

Position: Privacy Is Not Just Memorization!

October 2, 2025

저자: Niloofar Mireshghallah, Tianshi Li

cs.AI

초록

대규모 언어 모델(LLM)의 프라이버시 위험에 대한 논의는 훈련 데이터의 문자 그대로의 암기(verbatim memorization)에 지나치게 초점을 맞추는 반면, 더 즉각적이고 확장 가능한 다양한 프라이버시 위협들은 여전히 충분히 탐구되지 않고 있습니다. 이 포지션 페이퍼는 LLM 시스템의 프라이버시 문제가 훈련 데이터 추출을 훨씬 넘어서, 데이터 수집 관행, 추론 시점의 컨텍스트 유출, 자율 에이전트 기능, 그리고 딥 추론 공감을 통한 감시의 민주화 등 다양한 위험을 포함한다고 주장합니다. 우리는 데이터 수집부터 배포까지 LLM 생명주기 전반에 걸친 프라이버시 위험의 포괄적인 분류체계를 제시하고, 사례 연구를 통해 현재의 프라이버시 프레임워크가 이러한 다면적인 위협을 해결하지 못하는 방식을 보여줍니다. 2016년부터 2025년까지 주요 학회에서 발표된 1,322편의 AI/ML 프라이버시 논문에 대한 종단적 분석을 통해, 기술 연구에서 암기가 과도한 관심을 받는 반면, 가장 시급한 프라이버시 피해는 다른 곳에 있으며, 현재의 기술적 접근 방식이 거의 효과를 보지 못하고 실현 가능한 해결책이 여전히 불분명하다는 사실을 밝혔습니다. 우리는 연구 커뮤니티가 LLM 프라이버시를 접근하는 방식에 근본적인 전환을 요구하며, 현재의 기술적 해결책에 대한 좁은 초점을 넘어서 이러한 신흥 위협의 사회기술적 특성을 다루는 학제간 접근 방식을 채택할 것을 촉구합니다.

English

The discourse on privacy risks in Large Language Models (LLMs) has disproportionately focused on verbatim memorization of training data, while a constellation of more immediate and scalable privacy threats remain underexplored. This position paper argues that the privacy landscape of LLM systems extends far beyond training data extraction, encompassing risks from data collection practices, inference-time context leakage, autonomous agent capabilities, and the democratization of surveillance through deep inference attacks. We present a comprehensive taxonomy of privacy risks across the LLM lifecycle -- from data collection through deployment -- and demonstrate through case studies how current privacy frameworks fail to address these multifaceted threats. Through a longitudinal analysis of 1,322 AI/ML privacy papers published at leading conferences over the past decade (2016--2025), we reveal that while memorization receives outsized attention in technical research, the most pressing privacy harms lie elsewhere, where current technical approaches offer little traction and viable paths forward remain unclear. We call for a fundamental shift in how the research community approaches LLM privacy, moving beyond the narrow focus of current technical solutions and embracing interdisciplinary approaches that address the sociotechnical nature of these emerging threats.