アンカー型デコーディング：あらゆる言語モデルの著作権リスクを理論的に低減する手法
Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model
February 6, 2026
著者: Jacqueline He, Jonathan Hayase, Wen-tau Yih, Sewoong Oh, Luke Zettlemoyer, Pang Wei Koh
cs.AI
要旨
現代の言語モデル（LM）は、学習データの一部を記憶し、逐語的なスパンを出力する傾向があります。基盤となるソースが機密情報や著作権で保護されている場合、このような複製行為は、創作者に対する同意と補償の問題、および開発者に対するコンプライアンスリスクを引き起こします。本論文では、逐語的コピーを抑制するためのプラグアンドプレイ型推論時手法であるAnchored Decodingを提案します。この手法は、許諾ライセンスで学習された安全なLMへの近接性を保ちながら生成を行うことで、混合ライセンスデータで学習された任意のリスクのあるLMからのデコードを可能にします。Anchored Decodingは、ユーザーが設定した情報予算を生成軌道上で適応的に割り当て、シーケンスレベルの保証をもたらすステップ単位の制約を適用し、調整可能なリスクと効用のトレードオフを実現します。
Anchored Decodingを実用的にするため、新たに許諾ライセンスで学習された安全なモデル（TinyComma 1.8B）と、ByteSamplerフレームワーク（Hayase et al., 2025）を介した語彙横断的な融合を可能にするバイトレベル変種手法であるAnchored_{Byte} Decodingを導入します。6つのモデルペアを用いた長文評価により、著作権リスクと効用性について手法を評価しました。AnchoredおよびAnchored_{Byte} Decodingは新たなパレートフロンティアを定義し、控えめな推論オーバーヘッドで、元のLMに近い流暢さと事実正確性を維持しつつ、リスクのあるベースラインと安全な参照モデルとの間の測定可能なコピーギャップ（6つのコピー指標の平均）を最大75%削減します。
English
Modern language models (LMs) tend to memorize portions of their training data and emit verbatim spans. When the underlying sources are sensitive or copyright-protected, such reproduction raises issues of consent and compensation for creators and compliance risks for developers. We propose Anchored Decoding, a plug-and-play inference-time method for suppressing verbatim copying: it enables decoding from any risky LM trained on mixed-license data by keeping generation in bounded proximity to a permissively trained safe LM. Anchored Decoding adaptively allocates a user-chosen information budget over the generation trajectory and enforces per-step constraints that yield a sequence-level guarantee, enabling a tunable risk-utility trade-off. To make Anchored Decoding practically useful, we introduce a new permissively trained safe model (TinyComma 1.8B), as well as Anchored_{Byte} Decoding, a byte-level variant of our method that enables cross-vocabulary fusion via the ByteSampler framework (Hayase et al., 2025). We evaluate our methods across six model pairs on long-form evaluations of copyright risk and utility. Anchored and Anchored_{Byte} Decoding define a new Pareto frontier, preserving near-original fluency and factuality while eliminating up to 75% of the measurable copying gap (averaged over six copying metrics) between the risky baseline and a safe reference, at a modest inference overhead.