Ankerndes Dekodieren: Nachweisliche Reduzierung des Urheberrechtsrisikos für beliebige Sprachmodelle
Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model
February 6, 2026
papers.authors: Jacqueline He, Jonathan Hayase, Wen-tau Yih, Sewoong Oh, Luke Zettlemoyer, Pang Wei Koh
cs.AI
papers.abstract
Moderne Sprachmodelle (LMs) neigen dazu, Teile ihrer Trainingsdaten auswendig zu lernen und wörtliche Passagen wiederzugeben. Wenn die zugrundeliegenden Quellen sensibel oder urheberrechtlich geschützt sind, wirft eine solche Reproduktion Fragen der Einwilligung und Vergütung für Urheber sowie Compliance-Risiken für Entwickler auf. Wir schlagen Anchored Decoding vor, eine Plug-and-Play-Methode für die Inferenzzeit zur Unterdrückung wörtlicher Kopien: Sie ermöglicht die Dekodierung von jedem riskanten LM, das mit Daten gemischter Lizenzen trainiert wurde, indem die Generierung in begrenzter Nähe zu einem permissiv trainierten sicheren LM gehalten wird. Anchored Decoding verteilt ein benutzerdefiniertes Informationsbudget adaptiv über den Generierungspfad und erzwingt Schritt-für-Schritt-Einschränkungen, die eine garantierte Sequenzebene ergeben, was einen einstellbaren Kompromiss zwischen Risiko und Nutzen ermöglicht. Um Anchored Decoding praktisch nutzbar zu machen, führen wir ein neu permissiv trainiertes sicheres Modell (TinyComma 1.8B) sowie Anchored_{Byte} Decoding ein, eine Byte-Ebene-Variante unserer Methode, die eine fusionierte Dekodierung über verschiedene Vokabulare mittels des ByteSampler-Frameworks (Hayase et al., 2025) ermöglicht. Wir evaluieren unsere Methoden an sechs Modellpaaren in Langform-Evaluierungen von Urheberrechtsrisiko und Nutzen. Anchored und Anchored_{Byte} Decoding definieren eine neue Pareto-Grenze, die nahezu originale Flüssigkeit und Faktentreue bewahrt und gleichzeitig bis zu 75 % der messbaren Kopierlücke (gemittelt über sechs Kopiermetriken) zwischen der riskanten Basislinie und einer sicheren Referenz eliminiert, bei einem moderaten Inferenz-Overhead.
English
Modern language models (LMs) tend to memorize portions of their training data and emit verbatim spans. When the underlying sources are sensitive or copyright-protected, such reproduction raises issues of consent and compensation for creators and compliance risks for developers. We propose Anchored Decoding, a plug-and-play inference-time method for suppressing verbatim copying: it enables decoding from any risky LM trained on mixed-license data by keeping generation in bounded proximity to a permissively trained safe LM. Anchored Decoding adaptively allocates a user-chosen information budget over the generation trajectory and enforces per-step constraints that yield a sequence-level guarantee, enabling a tunable risk-utility trade-off. To make Anchored Decoding practically useful, we introduce a new permissively trained safe model (TinyComma 1.8B), as well as Anchored_{Byte} Decoding, a byte-level variant of our method that enables cross-vocabulary fusion via the ByteSampler framework (Hayase et al., 2025). We evaluate our methods across six model pairs on long-form evaluations of copyright risk and utility. Anchored and Anchored_{Byte} Decoding define a new Pareto frontier, preserving near-original fluency and factuality while eliminating up to 75% of the measurable copying gap (averaged over six copying metrics) between the risky baseline and a safe reference, at a modest inference overhead.