Выявление межцелевых конфликтов при многоцелевой настройке языковых моделей
Uncovering Cross-Objective Interference in Multi-Objective Alignment
February 6, 2026
Авторы: Yining Lu, Meng Jiang
cs.AI
Аннотация
Мы исследуем устойчивый режим сбоя при многоцелевом согласовании больших языковых моделей (LLM): обучение улучшает производительность лишь по части целей, одновременно вызывая ухудшение по другим. Мы формализуем этот феномен как кросс-целевые помехи и проводим первое систематическое исследование для классических алгоритмов скаляризации, показывая, что помехи носят повсеместный характер и демонстрируют сильную зависимость от модели.
Для объяснения этого феномена мы выводим локальный закон ковариации, показывающий, что цель улучшается в первом порядке, когда её вознаграждение демонстрирует положительную ковариацию со скаляризованной оценкой. Мы расширяем этот анализ на суррогатные цели с отсечкой, используемые в современном согласовании, демонстрируя, что закон ковариации остаётся справедливым при слабых условиях, несмотря на отсечку. Основываясь на этом анализе, мы предлагаем Адаптацию Весов с Целевой Ковариацией (CTWA) — модульный метод, который поддерживает положительную ковариацию между вознаграждениями целей и обучающим сигналом для эффективного устранения кросс-целевых помех. Наконец, мы дополняем эти локальные условия улучшения глобальным анализом сходимости в условиях Поляка — Лоясиевича, устанавливая, когда невыпуклая скаляризованная оптимизация достигает глобальной сходимости и как кросс-целевые помехи зависят от конкретных геометрических свойств модели.
English
We study a persistent failure mode in multi-objective alignment for large language models (LLMs): training improves performance on only a subset of objectives while causing others to degrade. We formalize this phenomenon as cross-objective interference and conduct the first systematic study across classic scalarization algorithms, showing that interference is pervasive and exhibits strong model dependence.
To explain this phenomenon, we derive a local covariance law showing that an objective improves at first order when its reward exhibits positive covariance with the scalarized score. We extend this analysis to clipped surrogate objectives used in modern alignment, demonstrating that the covariance law remains valid under mild conditions despite clipping. Building on this analysis, we propose Covariance Targeted Weight Adaptation (CTWA), a plug-and-play method that maintains positive covariance between objective rewards and the training signal to effectively mitigate cross-objective interference. Finally, we complement these local improvement conditions with a global convergence analysis under the Polyak--Łojasiewicz condition, establishing when non-convex scalarized optimization achieves global convergence and how cross-objective interference depends on specific model geometric properties.