Uno Studio Empirico sulla Generalizzazione e Diversità del Preference Tuning in Condizioni di Domain Shift

An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift

January 9, 2026

Autori: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

cs.AI

Abstract

L'ottimizzazione delle preferenze allinea i modelli linguistici preaddestrati ai giudizi umani su qualità, utilità o sicurezza, ottimizzando segnali espliciti di preferenza anziché la sola verosimiglianza. Ricerche precedenti hanno dimostrato che l'ottimizzazione delle preferenze degrada le prestazioni e riduce l'utilità quando valutata al di fuori del dominio di addestramento. Tuttavia, la misura in cui le strategie di adattamento mitigano questo scostamento di dominio rimane inesplorata. Affrontiamo questa sfida conducendo uno studio sistematico e completo della generalizzazione dell'allineamento sotto scostamento di dominio. Confrontiamo cinque obiettivi di allineamento popolari e varie strategie di adattamento dalla sorgente al target, inclusi fine-tuning supervisionato e pseudo-etichettamento nel dominio target, attraverso task di utilità in riassunto e question-answering. I nostri risultati rivelano differenze sistematiche nella generalizzazione tra obiettivi di allineamento sotto scostamento di dominio. Dimostriamo che strategie di adattamento basate su pseudo-etichettamento possono ridurre sostanzialmente il degrado da scostamento di dominio.

English

Preference tuning aligns pretrained language models to human judgments of quality, helpfulness, or safety by optimizing over explicit preference signals rather than likelihood alone. Prior work has shown that preference-tuning degrades performance and reduces helpfulness when evaluated outside the training domain. However, the extent to which adaptation strategies mitigate this domain shift remains unexplored. We address this challenge by conducting a comprehensive and systematic study of alignment generalization under domain shift. We compare five popular alignment objectives and various adaptation strategies from source to target, including target-domain supervised fine-tuning and pseudo-labeling, across summarization and question-answering helpfulness tasks. Our findings reveal systematic differences in generalization across alignment objectives under domain shift. We show that adaptation strategies based on pseudo-labeling can substantially reduce domain-shift degradation