훈련은 흔적을 남긴다: 언어 모델 계보 검증을 위한 중심화된 잔차 시그니처

초록

오픈 가중치 언어 모델은 미세 조정, 양자화, 프루닝, 병합되지만 그 기원은 종종 문서화되지 않는다. 우리는 데이터 비의존적 화이트박스 계보 검증을 연구한다: 가중치만으로 호환 가능한 두 모델 체크포인트가 공통 조상을 공유하는지 밝힐 수 있는가? 잔차 훈련은 분기 산출물에 공유된 정체성 정렬 구성 요소를 생성하므로, 이 구조만으로는 조상을 확립할 수 없다. 우리는 이를 제거하고 잔차 블록 전반에 걸쳐 체크포인트 고유 구조를 비교하여, 독립적인 체크포인트를 기준으로 보정된 대칭 계보 점수를 도출한다. 잔차-MLP 및 GPT-2 벤치마크에서 이 점수는 미세 조정, LoRA 병합, 프루닝, 양자화된 후손 모델을 독립 모델 및 증류 모델과 구분하며(AUROC=1.0), 가중치 조상 관계를 행동 유사성과 구별한다. 기능 보존 체크포인트 세탁 실험에서 가중치 공간 베이스라인은 마진을 상실하거나 실패하는 반면, 우리의 점수는 변화하지 않으며 GPT-2에서 최근접 강건 베이스라인보다 76배 더 빠르게 실행된다. 투영-페어링 신호는 여섯 개의 언어 모델 계열 이상에서 나타나며, 사례 연구는 LLaMA-2 공개 체크포인트 3개가 관련되어 있고 7개는 무관함을 올바르게 식별한다. 종합적으로, 이러한 결과는 호환 가능한 오픈 가중치 언어 모델 체크포인트에 대한 수동적이고 데이터 비의존적인 기원 신호를 확립한다.

English

Open-weight language models are fine-tuned, quantized, pruned, and merged, yet their provenance is often undocumented. We study data-free white-box lineage verification: can weights alone reveal whether two compatible model checkpoints share ancestry? Residual training produces a shared identity-aligned component in branch products, so this structure alone cannot establish ancestry. We remove it and compare checkpoint-specific structure across residual blocks, yielding a symmetric lineage score calibrated against independent checkpoints. On residual-MLP and GPT-2 benchmarks, the score separates fine-tuned, LoRA-merged, pruned, and quantized descendants from independent and distilled models (AUROC=1.0), distinguishing weight ancestry from behavioral similarity. Under function-preserving checkpoint laundering experiments, weight-space baselines lose margin or fail; our score remains unchanged and runs 76x faster than the nearest robust baseline on GPT-2. The projection-pairing signal appears across six language-model families and beyond, and a case study correctly identifies 3 related and 7 unrelated LLaMA-2 public checkpoints. Collectively, these results establish a passive, data-free provenance signal for compatible open-weight language-model checkpoints