Une interprétation gravitationnelle de la réversion du fine-tuning

Résumé

L'affinage sur des données inoffensives peut partiellement annuler les comportements acquis plus tôt durant l'entraînement. La sécurité peut s'éroder sous l'effet de mises à jour bénignes post-alignement, des capacités désapprises peuvent réémerger, des traits latents peuvent se transférer via une supervision apparemment non liée, et une fragilité post-alignement apparente apparaît dans d'autres contextes génératifs. Nous soutenons que ces phénomènes sont utilement appréhendés à travers un prisme commun d'historique d'entraînement. Notre hypothèse est géométrique : les grandes phases d'entraînement précoces créent des variétés comportementales dominantes, tandis que les phases ultérieures d'alignement ou de spécialisation en sont des déplacements plus superficiels. Un affinage ultérieur peut donc hériter d'une composante de réversion persistante pointant vers un témoin de la variété dominante. Nous appelons cela l'interprétation gravitationnelle de la réversion par affinage. Dans l'ensemble de nos configurations, la dérive représentationnelle acquiert rapidement une composante le long d'une direction de réversion définie par l'historique (v_rev). Dans notre piste principale, l'alignement avec v_rev passe de cos = 0,429 ± 0,052 après la première mise à jour à 0,647 ± 0,021 à l'étape 20. Sur 24 paires d'étapes d'exécution, chaque alignement observé dépasse le p99 d'un test nul isotrope dans l'espace d'activation. Nous démontrons que le blocage sélectif du mouvement le long de v_rev modifie l'alignement final à T=100 de 0,648 ± 0,009 à -0,211 ± 0,021 et réduit la nocivité de 19,0 % ± 4,0 % à 8,5 % ± 1,5 % avec un coût de tâche minime. Ces résultats soutiennent que v_rev est un médiateur causalement pertinent de la réversion post-alignement précoce dans notre configuration. Il est important de noter que nous ne prétendons pas que v_rev soit la direction de sécurité unique, ni que la variété dominante soit directement observée ; nous identifions plutôt une direction robuste, définie par l'historique, qui explique et contrôle partiellement les dynamiques de réversion précoces.

English

Fine-tuning on harmless data can partially undo behaviors acquired earlier in training. Safety can erode under benign post-alignment updates, unlearned capabilities can re-emerge, latent traits can transfer through apparently unrelated supervision, and related post-alignment fragility appears in other generative settings. We argue these phenomena are usefully viewed through a common training-history lens. Our hypothesis is geometric: large early training phases create dominant behavioral manifolds, while later alignment or specialization phases are shallower displacements from them. Subsequent fine-tuning can therefore inherit a persistent reversion component pointing back toward a witness of the dominant manifold. We call this the gravitational interpretation of fine-tuning reversion. Across our main settings, representational drift rapidly acquires a component along a history-defined reversion direction (v_rev). In our main track, alignment with v_rev rises from cos = 0.429 +/- 0.052 after the first update to 0.647 +/- 0.021 by step 20. Across 24 run-step pairs, every observed alignment exceeds the p99 of an isotropic activation-space null. We demonstrate that selectively blocking motion along v_rev changes the final alignment at T=100 from 0.648 +/- 0.009 to -0.211 +/- 0.021 and reduces harmfulness from 19.0% +/- 4.0% to 8.5% +/- 1.5% with little task cost. These results support v_rev as a causally relevant mediator of early post-alignment reversion in our setup. Importantly, we do not claim that v_rev is the unique safety direction, nor that the dominant manifold is directly observed; rather, we identify a robust, history-defined direction that explains and partially controls early reversion dynamics.