DPO Kernels: Een semantisch bewust, kernel-versterkt en divergentie-rijk paradigma voor directe voorkeursoptimalisatie.

DPO Kernels: A Semantically-Aware, Kernel-Enhanced, and Divergence-Rich Paradigm for Direct Preference Optimization

January 5, 2025

Auteurs: Amitava Das, Suranjana Trivedy, Danush Khanna, Rajarshi Roy, Gurpreet Singh, Basab Ghosh, Yaswanth Narsupalli, Vinija Jain, Vasu Sharma, Aishwarya Naresh Reganti, Aman Chadha

cs.AI

Samenvatting

De snelle opkomst van grote taalmodellen (LLM's) heeft vele toepassingen mogelijk gemaakt, maar benadrukt ook de uitdaging om ze af te stemmen op diverse waarden en voorkeuren. Directe Voorkeursoptimalisatie (DPO) is essentieel voor afstemming, maar wordt beperkt door vaste divergenties en beperkte kenmerkentransformaties. Wij stellen DPO-Kernels voor, die kernelmethoden integreren om deze kwesties aan te pakken via vier belangrijke bijdragen: (i) Gekernelde Representaties met polynomiale, RBF, Mahalanobis en spectrale kernels voor rijkere transformaties, plus een hybride verlies dat op insluiting gebaseerde en op waarschijnlijkheid gebaseerde doelstellingen combineert; (ii) Divergentie Alternatieven (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya, Wasserstein en f-divergenties) voor grotere stabiliteit; (iii) Datagedreven Selectiemetrieken die automatisch het beste kernel-divergentiepaar kiezen; en (iv) een Hiërarchische Mengeling van Kernels voor zowel lokale precisie als globale modellering. Evaluaties op 12 datasets tonen eersteklas prestaties aan op het gebied van feitelijkheid, veiligheid, redenering en instructieopvolging. Gebaseerd op Zwaarstaartige Zelfregulering behoudt DPO-Kernels robuuste generalisatie voor LLM's en biedt het een uitgebreide bron voor verder onderzoek naar afstemming.

English

The rapid rise of large language models (LLMs) has unlocked many applications but also underscores the challenge of aligning them with diverse values and preferences. Direct Preference Optimization (DPO) is central to alignment but constrained by fixed divergences and limited feature transformations. We propose DPO-Kernels, which integrates kernel methods to address these issues through four key contributions: (i) Kernelized Representations with polynomial, RBF, Mahalanobis, and spectral kernels for richer transformations, plus a hybrid loss combining embedding-based and probability-based objectives; (ii) Divergence Alternatives (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya, Wasserstein, and f-divergences) for greater stability; (iii) Data-Driven Selection metrics that automatically choose the best kernel-divergence pair; and (iv) a Hierarchical Mixture of Kernels for both local precision and global modeling. Evaluations on 12 datasets demonstrate state-of-the-art performance in factuality, safety, reasoning, and instruction following. Grounded in Heavy-Tailed Self-Regularization, DPO-Kernels maintains robust generalization for LLMs, offering a comprehensive resource for further alignment research.