미세 조정의 역전에 대한 중력적 해석

초록

무해한 데이터에 대한 미세 조정은 훈련 초기에 습득된 행동을 부분적으로 되돌릴 수 있다. 안전성은 사소한 정렬 후 업데이트 아래에서 침식될 수 있고, 학습 취소된 능력은 재등장할 수 있으며, 잠재적 특성은 겉보기에 무관한 지도 학습을 통해 전이될 수 있으며, 관련된 정렬 후 취약성은 다른 생성 모델 환경에서도 나타난다. 우리는 이러한 현상들을 공통의 훈련 이력 관점을 통해 바라보는 것이 유용하다고 주장한다. 우리의 가설은 기하학적이다: 초기의 큰 훈련 단계는 지배적인 행동 매니폴드를 생성하는 반면, 이후의 정렬 또는 전문화 단계는 이들로부터의 얕은 변위에 불과하다. 따라서 후속 미세 조정은 지배적 매니폴드의 증인을 향해 되돌아가는 지속적인 복귀 성분을 물려받을 수 있다. 우리는 이를 미세 조정 복귀의 중력적 해석이라고 부른다. 주요 설정 전반에 걸쳐, 표현 표류는 이력에 의해 정의된 복귀 방향(v_rev)을 따라 빠르게 성분을 획득한다. 주요 경로에서, v_rev와의 정렬은 첫 번째 업데이트 후 cos = 0.429 ± 0.052에서 20단계까지 0.647 ± 0.021로 상승한다. 24개의 실행-단계 쌍에 걸쳐, 관측된 모든 정렬은 등방성 활성화 공간 귀무 분포의 99번째 백분위수를 초과한다. 우리는 v_rev를 따른 움직임을 선택적으로 차단하면 T=100에서 최종 정렬이 0.648 ± 0.009에서 -0.211 ± 0.021로 변화하고, 유해성이 19.0% ± 4.0%에서 8.5% ± 1.5%로 감소하며 작업 비용은 거의 들지 않음을 보여준다. 이러한 결과는 v_rev가 우리 설정에서 정렬 후 초기 복귀의 인과적으로 관련된 매개체임을 뒷받침한다. 중요한 점은, 우리가 v_rev가 유일한 안전 방향이라고 주장하지 않으며, 지배적 매니폴드가 직접 관찰된다고 주장하지도 않는다는 것이다. 오히려, 우리는 초기 복귀 동역학을 설명하고 부분적으로 제어하는 강건하고 이력에 의해 정의된 방향을 식별한다.

English

Fine-tuning on harmless data can partially undo behaviors acquired earlier in training. Safety can erode under benign post-alignment updates, unlearned capabilities can re-emerge, latent traits can transfer through apparently unrelated supervision, and related post-alignment fragility appears in other generative settings. We argue these phenomena are usefully viewed through a common training-history lens. Our hypothesis is geometric: large early training phases create dominant behavioral manifolds, while later alignment or specialization phases are shallower displacements from them. Subsequent fine-tuning can therefore inherit a persistent reversion component pointing back toward a witness of the dominant manifold. We call this the gravitational interpretation of fine-tuning reversion. Across our main settings, representational drift rapidly acquires a component along a history-defined reversion direction (v_rev). In our main track, alignment with v_rev rises from cos = 0.429 +/- 0.052 after the first update to 0.647 +/- 0.021 by step 20. Across 24 run-step pairs, every observed alignment exceeds the p99 of an isotropic activation-space null. We demonstrate that selectively blocking motion along v_rev changes the final alignment at T=100 from 0.648 +/- 0.009 to -0.211 +/- 0.021 and reduces harmfulness from 19.0% +/- 4.0% to 8.5% +/- 1.5% with little task cost. These results support v_rev as a causally relevant mediator of early post-alignment reversion in our setup. Importantly, we do not claim that v_rev is the unique safety direction, nor that the dominant manifold is directly observed; rather, we identify a robust, history-defined direction that explains and partially controls early reversion dynamics.