Svelare l'Interferenza Trans-Obbiettivo nell'Allineamento Multi-Obbiettivo
Uncovering Cross-Objective Interference in Multi-Objective Alignment
February 6, 2026
Autori: Yining Lu, Meng Jiang
cs.AI
Abstract
Studiamo una modalità di fallimento persistente nell'allineamento multi-obiettivo per i grandi modelli linguistici (LLM): l'addestramento migliora le prestazioni solo su un sottoinsieme di obiettivi, causando al contempo il deterioramento di altri. Formalizziamo questo fenomeno come interferenza cross-obiettivo e conduiamo il primo studio sistematico attraverso gli algoritmi classici di scalarizzazione, dimostrando che l'interferenza è pervasiva e mostra una forte dipendenza dal modello.
Per spiegare questo fenomeno, deriviamo una legge di covarianza locale che mostra come un obiettivo migliori al primo ordine quando la sua ricompensa presenta una covarianza positiva con il punteggio scalarizzato. Estendiamo questa analisi alle funzioni obiettivo surrogate troncate utilizzate nell'allineamento moderno, dimostrando che la legge di covarianza rimane valida in condizioni non restrittive nonostante il troncamento. Basandoci su questa analisi, proponiamo l'Adattamento Ponderato Mirato alla Covarianza (Covariance Targeted Weight Adaptation - CTWA), un metodo plug-and-play che mantiene una covarianza positiva tra le ricompense degli obiettivi e il segnale di addestramento per mitigare efficacemente l'interferenza cross-obiettivo.
Infine, integriamo queste condizioni di miglioramento locale con un'analisi di convergenza globale sotto la condizione di Polyak–Łojasiewicz, stabilendo quando l'ottimizzazione scalarizzata non convessa raggiunge la convergenza globale e come l'interferenza cross-obiettivo dipenda da specifiche proprietà geometriche del modello.
English
We study a persistent failure mode in multi-objective alignment for large language models (LLMs): training improves performance on only a subset of objectives while causing others to degrade. We formalize this phenomenon as cross-objective interference and conduct the first systematic study across classic scalarization algorithms, showing that interference is pervasive and exhibits strong model dependence.
To explain this phenomenon, we derive a local covariance law showing that an objective improves at first order when its reward exhibits positive covariance with the scalarized score. We extend this analysis to clipped surrogate objectives used in modern alignment, demonstrating that the covariance law remains valid under mild conditions despite clipping. Building on this analysis, we propose Covariance Targeted Weight Adaptation (CTWA), a plug-and-play method that maintains positive covariance between objective rewards and the training signal to effectively mitigate cross-objective interference. Finally, we complement these local improvement conditions with a global convergence analysis under the Polyak--Łojasiewicz condition, establishing when non-convex scalarized optimization achieves global convergence and how cross-objective interference depends on specific model geometric properties.