Het blootleggen van doelconflicten bij multi-objectieve afstemming
Uncovering Cross-Objective Interference in Multi-Objective Alignment
February 6, 2026
Auteurs: Yining Lu, Meng Jiang
cs.AI
Samenvatting
Wij onderzoeken een hardnekkig faalmechanisme bij multi-doel-afstemming van grote taalmodellen (LLM's): training verbetert de prestaties voor slechts een subset van doelstellingen, terwijl andere verslechteren. Wij formaliseren dit fenomeen als cross-objectieve interferentie en voeren de eerste systematische studie uit over klassieke scalarisatie-algoritmen, waaruit blijkt dat interferentie alomtegenwoordig is en sterke modelafhankelijkheid vertoont.
Om dit fenomeen te verklaren, leiden we een lokale covariantiewet af die aantoont dat een doelstelling in eerste orde verbetert wanneer de beloning ervan een positieve covariantie vertoont met de gescalariseerde score. We breiden deze analyse uit naar geknipte surrogaatdoelstellingen die in moderne afstemming worden gebruikt, en tonen aan dat de covariantiewet onder milde voorwaarden geldig blijft ondanks het knippen. Op basis van deze analyse stellen wij Covariance Targeted Weight Adaptation (CTWA) voor, een plug-and-play-methode die een positieve covariantie tussen doelbeloningen en het trainingssignaal handhaaft om cross-objectieve interferentie effectief te beperken. Ten slotte vullen we deze lokale verbeteringsvoorwaarden aan met een globale convergentie-analyse onder de Polyak–Łojasiewicz-voorwaarde, waarbij we vaststellen wanneer niet-convexe gescalariseerde optimalisatie globale convergentie bereikt en hoe cross-objectieve interferentie afhangt van specifieke geometrische eigenschappen van het model.
English
We study a persistent failure mode in multi-objective alignment for large language models (LLMs): training improves performance on only a subset of objectives while causing others to degrade. We formalize this phenomenon as cross-objective interference and conduct the first systematic study across classic scalarization algorithms, showing that interference is pervasive and exhibits strong model dependence.
To explain this phenomenon, we derive a local covariance law showing that an objective improves at first order when its reward exhibits positive covariance with the scalarized score. We extend this analysis to clipped surrogate objectives used in modern alignment, demonstrating that the covariance law remains valid under mild conditions despite clipping. Building on this analysis, we propose Covariance Targeted Weight Adaptation (CTWA), a plug-and-play method that maintains positive covariance between objective rewards and the training signal to effectively mitigate cross-objective interference. Finally, we complement these local improvement conditions with a global convergence analysis under the Polyak--Łojasiewicz condition, establishing when non-convex scalarized optimization achieves global convergence and how cross-objective interference depends on specific model geometric properties.