Uma Interpretação Gravitacional da Reversão do Ajuste Fino

Resumo

O ajuste fino em dados inofensivos pode desfazer parcialmente comportamentos adquiridos no início do treinamento. A segurança pode ser erodida sob atualizações benignas pós-alinhamento, capacidades desaprendidas podem reemergir, traços latentes podem transferir-se através de supervisão aparentemente não relacionada, e fragilidades pós-alinhamento relacionadas aparecem em outras configurações generativas. Argumentamos que esses fenômenos são utilmente vistos através de uma lente comum de histórico de treinamento. Nossa hipótese é geométrica: fases iniciais de treinamento extenso criam variedades comportamentais dominantes, enquanto fases posteriores de alinhamento ou especialização são deslocamentos mais rasos a partir delas. O ajuste fino subsequente pode, portanto, herdar um componente de reversão persistente que aponta de volta para uma testemunha da variedade dominante. Chamamos isso de interpretação gravitacional da reversão por ajuste fino. Em nossas principais configurações, a deriva representacional adquire rapidamente um componente ao longo de uma direção de reversão definida pelo histórico (v_rev). Em nossa trilha principal, o alinhamento com v_rev sobe de cos = 0,429 ± 0,052 após a primeira atualização para 0,647 ± 0,021 no passo 20. Em 24 pares de execução-passo, todo alinhamento observado excede o p99 de um nulo isotrópico no espaço de ativação. Demonstramos que bloquear seletivamente o movimento ao longo de v_rev altera o alinhamento final em T=100 de 0,648 ± 0,009 para -0,211 ± 0,021 e reduz a nocividade de 19,0% ± 4,0% para 8,5% ± 1,5% com pouco custo de tarefa. Esses resultados apoiam v_rev como um mediador causalmente relevante da reversão precoce pós-alinhamento em nossa configuração. É importante ressaltar que não afirmamos que v_rev seja a direção única de segurança, nem que a variedade dominante seja diretamente observada; em vez disso, identificamos uma direção robusta definida pelo histórico que explica e controla parcialmente as dinâmicas de reversão precoce.

English

Fine-tuning on harmless data can partially undo behaviors acquired earlier in training. Safety can erode under benign post-alignment updates, unlearned capabilities can re-emerge, latent traits can transfer through apparently unrelated supervision, and related post-alignment fragility appears in other generative settings. We argue these phenomena are usefully viewed through a common training-history lens. Our hypothesis is geometric: large early training phases create dominant behavioral manifolds, while later alignment or specialization phases are shallower displacements from them. Subsequent fine-tuning can therefore inherit a persistent reversion component pointing back toward a witness of the dominant manifold. We call this the gravitational interpretation of fine-tuning reversion. Across our main settings, representational drift rapidly acquires a component along a history-defined reversion direction (v_rev). In our main track, alignment with v_rev rises from cos = 0.429 +/- 0.052 after the first update to 0.647 +/- 0.021 by step 20. Across 24 run-step pairs, every observed alignment exceeds the p99 of an isotropic activation-space null. We demonstrate that selectively blocking motion along v_rev changes the final alignment at T=100 from 0.648 +/- 0.009 to -0.211 +/- 0.021 and reduces harmfulness from 19.0% +/- 4.0% to 8.5% +/- 1.5% with little task cost. These results support v_rev as a causally relevant mediator of early post-alignment reversion in our setup. Importantly, we do not claim that v_rev is the unique safety direction, nor that the dominant manifold is directly observed; rather, we identify a robust, history-defined direction that explains and partially controls early reversion dynamics.