Защита авторских прав для больших языковых моделей: обзор методов, проблем и тенденций

Аннотация

Защита авторских прав для больших языковых моделей имеет критически важное значение, учитывая их значительные затраты на разработку, коммерческую ценность и потенциал для злоупотреблений. Существующие обзоры в основном сосредоточены на методах отслеживания контента, созданного языковыми моделями, а именно на текстовом водяном знаке, в то время как систематическое исследование методов защиты самих моделей (например, водяных знаков моделей и отпечатков моделей) остается недостаточным. Более того, взаимосвязи и различия между текстовыми водяными знаками, водяными знаками моделей и отпечатками моделей не были всесторонне прояснены. Данная работа представляет собой всеобъемлющий обзор текущего состояния технологий защиты авторских прав для больших языковых моделей, с акцентом на отпечатки моделей, охватывая следующие аспекты: (1) прояснение концептуальной связи от текстовых водяных знаков к водяным знакам моделей и отпечаткам моделей, а также принятие единой терминологии, которая включает водяные знаки моделей в более широкую концепцию отпечатков; (2) обзор и сравнение различных методов текстовых водяных знаков, с выделением случаев, когда такие методы могут выступать в качестве отпечатков моделей; (3) систематическая классификация и сравнение существующих подходов к отпечаткам моделей для защиты авторских прав языковых моделей; (4) впервые представлены методы передачи и удаления отпечатков; (5) обобщение метрик оценки отпечатков моделей, включая эффективность, безвредность, устойчивость, скрытность и надежность; и (6) обсуждение открытых проблем и будущих направлений исследований. Этот обзор призван предоставить исследователям глубокое понимание как технологий текстовых водяных знаков, так и отпечатков моделей в эпоху больших языковых моделей, способствуя дальнейшему прогрессу в защите их интеллектуальной собственности.

English

Copyright protection for large language models is of critical importance, given their substantial development costs, proprietary value, and potential for misuse. Existing surveys have predominantly focused on techniques for tracing LLM-generated content-namely, text watermarking-while a systematic exploration of methods for protecting the models themselves (i.e., model watermarking and model fingerprinting) remains absent. Moreover, the relationships and distinctions among text watermarking, model watermarking, and model fingerprinting have not been comprehensively clarified. This work presents a comprehensive survey of the current state of LLM copyright protection technologies, with a focus on model fingerprinting, covering the following aspects: (1) clarifying the conceptual connection from text watermarking to model watermarking and fingerprinting, and adopting a unified terminology that incorporates model watermarking into the broader fingerprinting framework; (2) providing an overview and comparison of diverse text watermarking techniques, highlighting cases where such methods can function as model fingerprinting; (3) systematically categorizing and comparing existing model fingerprinting approaches for LLM copyright protection; (4) presenting, for the first time, techniques for fingerprint transfer and fingerprint removal; (5) summarizing evaluation metrics for model fingerprints, including effectiveness, harmlessness, robustness, stealthiness, and reliability; and (6) discussing open challenges and future research directions. This survey aims to offer researchers a thorough understanding of both text watermarking and model fingerprinting technologies in the era of LLMs, thereby fostering further advances in protecting their intellectual property.

Защита авторских прав для больших языковых моделей: обзор методов, проблем и тенденций

Copyright Protection for Large Language Models: A Survey of Methods, Challenges, and Trends

Аннотация

Support