Eine Gravitationsinterpretation der Feinabstimmungsreversion

Zusammenfassung

Feinabstimmung auf harmlose Daten kann Verhaltensweisen, die in früheren Trainingsphasen erworben wurden, teilweise rückgängig machen. Sicherheit kann durch harmlose Updates nach der Ausrichtung erodieren, verlernte Fähigkeiten können wieder auftauchen, latente Eigenschaften können durch scheinbar unabhängige Überwachung übertragen werden, und ähnliche Fragilität nach der Ausrichtung zeigt sich in anderen generativen Kontexten. Wir argumentieren, dass diese Phänomene sinnvoll durch eine gemeinsame trainingshistorische Perspektive betrachtet werden können. Unsere These ist geometrischer Natur: Große frühe Trainingsphasen schaffen dominante Verhaltensmannigfaltigkeiten, während spätere Ausrichtungs- oder Spezialisierungsphasen flache Verschiebungen von diesen darstellen. Nachfolgende Feinabstimmung kann daher eine persistente Rückkehrkomponente erben, die zurück zu einem Zeugen der dominanten Mannigfaltigkeit zeigt. Wir nennen dies die gravitative Interpretation der Feinabstimmungs-Rückkehr. In unseren Hauptszenarien erwirbt die Repräsentationsdrift schnell eine Komponente entlang einer durch die Historie definierten Rückkehrrichtung (v_rev). In unserem Haupttrack steigt die Ausrichtung mit v_rev von cos = 0,429 ± 0,052 nach dem ersten Update auf 0,647 ± 0,021 bis Schritt 20. Über 24 Lauf-Schritt-Paare hinweg überschreitet jede beobachtete Ausrichtung das 99. Perzentil einer isotropen Nullhypothese im Aktivierungsraum. Wir zeigen, dass selektives Blockieren der Bewegung entlang v_rev die endgültige Ausrichtung bei T=100 von 0,648 ± 0,009 auf -0,211 ± 0,021 verändert und die Schädlichkeit von 19,0 % ± 4,0 % auf 8,5 % ± 1,5 % reduziert, bei geringen Aufgabenkosten. Diese Ergebnisse stützen v_rev als einen kausal relevanten Vermittler der frühen Rückkehr nach der Ausrichtung in unserem Setup. Wichtig ist, dass wir nicht behaupten, dass v_rev die eindeutige Sicherheitsrichtung ist, noch dass die dominante Mannigfaltigkeit direkt beobachtet wird; vielmehr identifizieren wir eine robuste, durch die Historie definierte Richtung, die die frühe Rückkehrdynamik erklärt und teilweise kontrolliert.

English

Fine-tuning on harmless data can partially undo behaviors acquired earlier in training. Safety can erode under benign post-alignment updates, unlearned capabilities can re-emerge, latent traits can transfer through apparently unrelated supervision, and related post-alignment fragility appears in other generative settings. We argue these phenomena are usefully viewed through a common training-history lens. Our hypothesis is geometric: large early training phases create dominant behavioral manifolds, while later alignment or specialization phases are shallower displacements from them. Subsequent fine-tuning can therefore inherit a persistent reversion component pointing back toward a witness of the dominant manifold. We call this the gravitational interpretation of fine-tuning reversion. Across our main settings, representational drift rapidly acquires a component along a history-defined reversion direction (v_rev). In our main track, alignment with v_rev rises from cos = 0.429 +/- 0.052 after the first update to 0.647 +/- 0.021 by step 20. Across 24 run-step pairs, every observed alignment exceeds the p99 of an isotropic activation-space null. We demonstrate that selectively blocking motion along v_rev changes the final alignment at T=100 from 0.648 +/- 0.009 to -0.211 +/- 0.021 and reduces harmfulness from 19.0% +/- 4.0% to 8.5% +/- 1.5% with little task cost. These results support v_rev as a causally relevant mediator of early post-alignment reversion in our setup. Importantly, we do not claim that v_rev is the unique safety direction, nor that the dominant manifold is directly observed; rather, we identify a robust, history-defined direction that explains and partially controls early reversion dynamics.