Гравитационная интерпретация возврата тонкой настройки

Аннотация

Тонкая настройка на безвредных данных может частично обратить поведение, усвоенное на более ранних этапах обучения. Безопасность может ослабевать при безобидных обновлениях после согласования, забытые способности могут возвращаться, латентные признаки могут передаваться через, казалось бы, не связанное обучение, а аналогичная хрупкость после согласования проявляется в других генеративных сценариях. Мы утверждаем, что эти явления полезно рассматривать через общую призму истории обучения. Наша гипотеза имеет геометрическую природу: крупные ранние этапы обучения создают доминирующие многообразия поведения, в то время как более поздние этапы согласования или специализации представляют собой мелкие смещения относительно них. Последующая тонкая настройка, таким образом, может наследовать устойчивую компоненту реверсии, указывающую обратно на свидетельство доминирующего многообразия. Мы называем это гравитационной интерпретацией реверсии при тонкой настройке. В наших основных условиях дрейф репрезентаций быстро приобретает компоненту вдоль определённого историей направления реверсии (v_rev). В основном эксперименте выравнивание с v_rev возрастает от cos = 0,429 ± 0,052 после первого обновления до 0,647 ± 0,021 к шагу 20. Для 24 пар запуск-шаг каждое наблюдаемое выравнивание превышает p99 изотропного нулевого распределения в пространстве активаций. Мы демонстрируем, что избирательное блокирование движения вдоль v_rev изменяет конечное выравнивание при T=100 с 0,648 ± 0,009 до -0,211 ± 0,021 и снижает вредоносность с 19,0% ± 4,0% до 8,5% ± 1,5% с незначительной потерей производительности задачи. Эти результаты подтверждают v_rev как причинно значимый медиатор ранней реверсии после согласования в нашей установке. Важно отметить, что мы не утверждаем, что v_rev является единственным направлением безопасности, ни что доминирующее многообразие наблюдается напрямую; скорее, мы идентифицируем устойчивое, определяемое историей направление, которое объясняет и частично контролирует динамику ранней реверсии.

English

Fine-tuning on harmless data can partially undo behaviors acquired earlier in training. Safety can erode under benign post-alignment updates, unlearned capabilities can re-emerge, latent traits can transfer through apparently unrelated supervision, and related post-alignment fragility appears in other generative settings. We argue these phenomena are usefully viewed through a common training-history lens. Our hypothesis is geometric: large early training phases create dominant behavioral manifolds, while later alignment or specialization phases are shallower displacements from them. Subsequent fine-tuning can therefore inherit a persistent reversion component pointing back toward a witness of the dominant manifold. We call this the gravitational interpretation of fine-tuning reversion. Across our main settings, representational drift rapidly acquires a component along a history-defined reversion direction (v_rev). In our main track, alignment with v_rev rises from cos = 0.429 +/- 0.052 after the first update to 0.647 +/- 0.021 by step 20. Across 24 run-step pairs, every observed alignment exceeds the p99 of an isotropic activation-space null. We demonstrate that selectively blocking motion along v_rev changes the final alignment at T=100 from 0.648 +/- 0.009 to -0.211 +/- 0.021 and reduces harmfulness from 19.0% +/- 4.0% to 8.5% +/- 1.5% with little task cost. These results support v_rev as a causally relevant mediator of early post-alignment reversion in our setup. Importantly, we do not claim that v_rev is the unique safety direction, nor that the dominant manifold is directly observed; rather, we identify a robust, history-defined direction that explains and partially controls early reversion dynamics.