Una interpretación gravitacional de la reversión del ajuste fino

Resumen

El ajuste fino con datos inofensivos puede deshacer parcialmente comportamientos adquiridos en fases previas del entrenamiento. La seguridad puede erosionarse bajo actualizaciones benignas posteriores a la alineación, las capacidades desaprendidas pueden reaparecer, los rasgos latentes pueden transferirse a través de supervisión aparentemente no relacionada, y una fragilidad similar posterior a la alineación se observa en otros contextos generativos. Sostenemos que estos fenómenos se entienden mejor desde una perspectiva común basada en la historia del entrenamiento. Nuestra hipótesis es geométrica: las fases tempranas extensas de entrenamiento crean variedades de comportamiento dominantes, mientras que las fases posteriores de alineación o especialización representan desplazamientos más superficiales desde ellas. Por lo tanto, el ajuste fino posterior puede heredar un componente persistente de reversión que apunta de vuelta hacia un testigo de la variedad dominante. A esto lo denominamos la interpretación gravitacional de la reversión por ajuste fino. En todos nuestros escenarios principales, la deriva representacional adquiere rápidamente un componente a lo largo de una dirección de reversión definida por la historia (v_rev). En nuestra pista principal, la alineación con v_rev aumenta de un cos = 0,429 ± 0,052 tras la primera actualización a 0,647 ± 0,021 en el paso 20. En 24 pares corrida-paso, toda alineación observada supera el p99 de una nula isotrópica en el espacio de activación. Demostramos que bloquear selectivamente el movimiento a lo largo de v_rev cambia la alineación final en T=100 de 0,648 ± 0,009 a -0,211 ± 0,021 y reduce la nocividad de 19,0 % ± 4,0 % a 8,5 % ± 1,5 %, con un costo mínimo en la tarea. Estos resultados respaldan a v_rev como un mediador causalmente relevante de la reversión temprana posterior a la alineación en nuestro entorno. Es importante destacar que no afirmamos que v_rev sea la dirección única de seguridad, ni que la variedad dominante se observe directamente; más bien, identificamos una dirección robusta, definida por la historia, que explica y controla parcialmente la dinámica temprana de reversión.

English

Fine-tuning on harmless data can partially undo behaviors acquired earlier in training. Safety can erode under benign post-alignment updates, unlearned capabilities can re-emerge, latent traits can transfer through apparently unrelated supervision, and related post-alignment fragility appears in other generative settings. We argue these phenomena are usefully viewed through a common training-history lens. Our hypothesis is geometric: large early training phases create dominant behavioral manifolds, while later alignment or specialization phases are shallower displacements from them. Subsequent fine-tuning can therefore inherit a persistent reversion component pointing back toward a witness of the dominant manifold. We call this the gravitational interpretation of fine-tuning reversion. Across our main settings, representational drift rapidly acquires a component along a history-defined reversion direction (v_rev). In our main track, alignment with v_rev rises from cos = 0.429 +/- 0.052 after the first update to 0.647 +/- 0.021 by step 20. Across 24 run-step pairs, every observed alignment exceeds the p99 of an isotropic activation-space null. We demonstrate that selectively blocking motion along v_rev changes the final alignment at T=100 from 0.648 +/- 0.009 to -0.211 +/- 0.021 and reduces harmfulness from 19.0% +/- 4.0% to 8.5% +/- 1.5% with little task cost. These results support v_rev as a causally relevant mediator of early post-alignment reversion in our setup. Importantly, we do not claim that v_rev is the unique safety direction, nor that the dominant manifold is directly observed; rather, we identify a robust, history-defined direction that explains and partially controls early reversion dynamics.