Núcleos DPO: Un paradigma semánticamente consciente, potenciado por núcleos y rico en divergencia para la optimización directa de preferencias.
DPO Kernels: A Semantically-Aware, Kernel-Enhanced, and Divergence-Rich Paradigm for Direct Preference Optimization
January 5, 2025
Autores: Amitava Das, Suranjana Trivedy, Danush Khanna, Rajarshi Roy, Gurpreet Singh, Basab Ghosh, Yaswanth Narsupalli, Vinija Jain, Vasu Sharma, Aishwarya Naresh Reganti, Aman Chadha
cs.AI
Resumen
El rápido ascenso de los grandes modelos de lenguaje (LLMs) ha desbloqueado muchas aplicaciones, pero también subraya el desafío de alinearlos con valores y preferencias diversas. La Optimización Directa de Preferencias (DPO) es fundamental para la alineación, pero está limitada por divergencias fijas y transformaciones de características limitadas. Proponemos DPO-Kernels, que integra métodos de kernel para abordar estos problemas a través de cuatro contribuciones clave: (i) Representaciones Kernelizadas con kernels polinomiales, RBF, Mahalanobis y espectrales para transformaciones más ricas, además de una pérdida híbrida que combina objetivos basados en incrustaciones y en probabilidades; (ii) Alternativas de Divergencia (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya, Wasserstein y f-divergencias) para una mayor estabilidad; (iii) Métricas de Selección Dirigida por Datos que eligen automáticamente el mejor par kernel-divergencia; y (iv) una Mezcla Jerárquica de Kernels para una precisión local y modelado global. Las evaluaciones en 12 conjuntos de datos demuestran un rendimiento de vanguardia en factualidad, seguridad, razonamiento y seguimiento de instrucciones. Basado en la Autorregulación de Cola Pesada, DPO-Kernels mantiene una generalización robusta para LLMs, ofreciendo un recurso integral para futuras investigaciones de alineación.
English
The rapid rise of large language models (LLMs) has unlocked many applications
but also underscores the challenge of aligning them with diverse values and
preferences. Direct Preference Optimization (DPO) is central to alignment but
constrained by fixed divergences and limited feature transformations. We
propose DPO-Kernels, which integrates kernel methods to address these issues
through four key contributions: (i) Kernelized Representations with polynomial,
RBF, Mahalanobis, and spectral kernels for richer transformations, plus a
hybrid loss combining embedding-based and probability-based objectives; (ii)
Divergence Alternatives (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya,
Wasserstein, and f-divergences) for greater stability; (iii) Data-Driven
Selection metrics that automatically choose the best kernel-divergence pair;
and (iv) a Hierarchical Mixture of Kernels for both local precision and global
modeling. Evaluations on 12 datasets demonstrate state-of-the-art performance
in factuality, safety, reasoning, and instruction following. Grounded in
Heavy-Tailed Self-Regularization, DPO-Kernels maintains robust generalization
for LLMs, offering a comprehensive resource for further alignment research.