Ядра DPO: Семантически осознанный, улучшенный ядром и богатый дивергенцией парадигма для прямой оптимизации предпочтений.

DPO Kernels: A Semantically-Aware, Kernel-Enhanced, and Divergence-Rich Paradigm for Direct Preference Optimization

January 5, 2025

Авторы: Amitava Das, Suranjana Trivedy, Danush Khanna, Rajarshi Roy, Gurpreet Singh, Basab Ghosh, Yaswanth Narsupalli, Vinija Jain, Vasu Sharma, Aishwarya Naresh Reganti, Aman Chadha

cs.AI

Аннотация

Быстрый рост крупных языковых моделей (LLM) открыл множество приложений, но также подчеркивает сложность их выравнивания с различными ценностями и предпочтениями. Прямая оптимизация предпочтений (DPO) является центральной для выравнивания, но ограничена фиксированными расхождениями и ограниченными преобразованиями признаков. Мы предлагаем DPO-Kernels, который интегрирует методы ядер для решения этих проблем через четыре ключевых вклада: (i) Ядерные представления с полиномиальными, RBF, Махаланобиса и спектральными ядрами для более богатых преобразований, а также гибридная функция потерь, объединяющая основанные на вложениях и вероятностные цели; (ii) Альтернативы расхождений (Дженсена-Шеннона, Хеллингера, Реньи, Бхаттачария, Вассерштейна и f-расхождения) для большей устойчивости; (iii) Метрики выбора, основанные на данных, которые автоматически выбирают лучшую пару ядер-расхождений; и (iv) Иерархическая смесь ядер как для локальной точности, так и для глобального моделирования. Оценки на 12 наборах данных демонстрируют передовые показатели в области фактичности, безопасности, рассуждений и следования инструкциям. Основанный на регуляризации тяжелых хвостов, DPO-Kernels обеспечивает надежную обобщаемость для LLM, предлагая всесторонний ресурс для дальнейших исследований по выравниванию.

English

The rapid rise of large language models (LLMs) has unlocked many applications but also underscores the challenge of aligning them with diverse values and preferences. Direct Preference Optimization (DPO) is central to alignment but constrained by fixed divergences and limited feature transformations. We propose DPO-Kernels, which integrates kernel methods to address these issues through four key contributions: (i) Kernelized Representations with polynomial, RBF, Mahalanobis, and spectral kernels for richer transformations, plus a hybrid loss combining embedding-based and probability-based objectives; (ii) Divergence Alternatives (Jensen-Shannon, Hellinger, Renyi, Bhattacharyya, Wasserstein, and f-divergences) for greater stability; (iii) Data-Driven Selection metrics that automatically choose the best kernel-divergence pair; and (iv) a Hierarchical Mixture of Kernels for both local precision and global modeling. Evaluations on 12 datasets demonstrate state-of-the-art performance in factuality, safety, reasoning, and instruction following. Grounded in Heavy-Tailed Self-Regularization, DPO-Kernels maintains robust generalization for LLMs, offering a comprehensive resource for further alignment research.