Desvendando a Interferência entre Objetivos no Alinhamento Multiobjetivo

Uncovering Cross-Objective Interference in Multi-Objective Alignment

February 6, 2026

Autores: Yining Lu, Meng Jiang

cs.AI

Resumo

Estudamos um modo persistente de falha no alinhamento multiobjetivo para grandes modelos de linguagem (LLMs): o treinamento melhora o desempenho apenas em um subconjunto de objetivos, ao mesmo tempo que causa a degradação de outros. Formalizamos este fenômeno como **interferência entre objetivos** e conduzimos o primeiro estudo sistemático através de algoritmos clássicos de scalarização, mostrando que a interferência é generalizada e exibe forte dependência do modelo. Para explicar este fenômeno, derivamos uma **lei de covariância local** que mostra que um objetivo melhora em primeira ordem quando sua recompensa exibe covariância positiva com a pontuação scalarizada. Estendemos esta análise para as funções objetivo substitutas (*surrogate*) com recorte (*clipping*) usadas no alinhamento moderno, demonstrando que a lei da covariância permanece válida sob condições suaves, apesar do recorte. Com base nesta análise, propomos a **Adaptação de Peso Direcionada por Covariância (CTWA)**, um método *plug-and-play* que mantém uma covariância positiva entre as recompensas dos objetivos e o sinal de treinamento para mitigar eficazmente a interferência entre objetivos. Por fim, complementamos estas condições locais de melhoria com uma análise de **convergência global** sob a condição de Polyak-Łojasiewicz, estabelecendo quando a otimização scalarizada não convexa atinge convergência global e como a interferência entre objetivos depende de propriedades geométricas específicas do modelo.

English

We study a persistent failure mode in multi-objective alignment for large language models (LLMs): training improves performance on only a subset of objectives while causing others to degrade. We formalize this phenomenon as cross-objective interference and conduct the first systematic study across classic scalarization algorithms, showing that interference is pervasive and exhibits strong model dependence. To explain this phenomenon, we derive a local covariance law showing that an objective improves at first order when its reward exhibits positive covariance with the scalarized score. We extend this analysis to clipped surrogate objectives used in modern alignment, demonstrating that the covariance law remains valid under mild conditions despite clipping. Building on this analysis, we propose Covariance Targeted Weight Adaptation (CTWA), a plug-and-play method that maintains positive covariance between objective rewards and the training signal to effectively mitigate cross-objective interference. Finally, we complement these local improvement conditions with a global convergence analysis under the Polyak--Łojasiewicz condition, establishing when non-convex scalarized optimization achieves global convergence and how cross-objective interference depends on specific model geometric properties.