訓練は痕跡を残す：言語モデルの系統検証のための中心化残差シグネチャ

要旨

オープンウェイト言語モデルは、ファインチューニング、量子化、枝刈り、統合（マージ）が行われるが、その来歴は文書化されていないことが多い。本研究では、データ不要のホワイトボックス系統検証を検討する。すなわち、重みだけから、互換性のある2つのモデルチェックポイントが祖先を共有しているかどうかを明らかにできるだろうか。残差学習では、分岐出力の中に共有の恒等写像整合成分が生じるため、この構造だけでは祖先関係を確定できない。我々はこの成分を取り除き、残差ブロック間でチェックポイント固有の構造を比較することで、独立チェックポイントに対して較正された対称な系統スコアを得る。residual-MLPおよびGPT-2ベンチマークにおいて、このスコアはファインチューニング、LoRAマージ、枝刈り、量子化された派生モデルを、独立モデルおよび蒸留モデルから分離し（AUROC=1.0）、重みの祖先関係と行動的類似性を区別する。関数保存型チェックポイントロンダリング実験では、重み空間ベースラインはマージンを失うか失敗する。一方、我々のスコアは不変であり、GPT-2において最も近い頑健なベースラインよりも76倍高速に動作する。射影ペアリング信号は、6つの言語モデルファミリーおよびそれ以外にもわたって現れ、ケーススタディでは3つの関連する公開LLaMA-2チェックポイントと7つの無関係なチェックポイントを正しく識別する。これらの結果は総合的に、互換性のあるオープンウェイト言語モデルチェックポイントに対する、受動的でデータ不要の来歴信号を確立するものである。

English

Open-weight language models are fine-tuned, quantized, pruned, and merged, yet their provenance is often undocumented. We study data-free white-box lineage verification: can weights alone reveal whether two compatible model checkpoints share ancestry? Residual training produces a shared identity-aligned component in branch products, so this structure alone cannot establish ancestry. We remove it and compare checkpoint-specific structure across residual blocks, yielding a symmetric lineage score calibrated against independent checkpoints. On residual-MLP and GPT-2 benchmarks, the score separates fine-tuned, LoRA-merged, pruned, and quantized descendants from independent and distilled models (AUROC=1.0), distinguishing weight ancestry from behavioral similarity. Under function-preserving checkpoint laundering experiments, weight-space baselines lose margin or fail; our score remains unchanged and runs 76x faster than the nearest robust baseline on GPT-2. The projection-pairing signal appears across six language-model families and beyond, and a case study correctly identifies 3 related and 7 unrelated LLaMA-2 public checkpoints. Collectively, these results establish a passive, data-free provenance signal for compatible open-weight language-model checkpoints