Условная языковая политика: общая структура для управляемой многокритериальной донастройки.

Conditioned Language Policy: A General Framework for Steerable Multi-Objective Finetuning

July 22, 2024

Авторы: Kaiwen Wang, Rahul Kidambi, Ryan Sullivan, Alekh Agarwal, Christoph Dann, Andrea Michi, Marco Gelmi, Yunxuan Li, Raghav Gupta, Avinava Dubey, Alexandre Ramé, Johan Ferret, Geoffrey Cideron, Le Hou, Hongkun Yu, Amr Ahmed, Aranyak Mehta, Léonard Hussenot, Olivier Bachem, Edouard Leurent

cs.AI

Аннотация

Наградное донастройка является ключевым для согласования языковых политик с заданными поведенческими целями (например, креативностью и безопасностью). Одним из основных вызовов здесь является разработка управляемых языковых моделей, которые балансируют между несколькими (конфликтующими) целями гибким и эффективным способом. В данной статье представлена Условная Языковая Политика (CLP), общая концепция для донастройки языковых моделей на несколько целей. Основываясь на методах многозадачного обучения и эффективной донастройки параметров, CLP может обучать управляемые модели, которые эффективно балансируют между конфликтующими целями во время вывода. Важно отметить, что для этого не требуется обучение или поддержание нескольких моделей для достижения различных балансов между целями. Через обширный набор экспериментов и абляций мы показываем, что фреймворк CLP обучает управляемые модели, превосходящие и доминирующие по Парето над текущими передовыми подходами к многокритериальной донастройке.

English

Reward-based finetuning is crucial for aligning language policies with intended behaviors (e.g., creativity and safety). A key challenge here is to develop steerable language models that trade-off multiple (conflicting) objectives in a flexible and efficient manner. This paper presents Conditioned Language Policy (CLP), a general framework for finetuning language models on multiple objectives. Building on techniques from multi-task training and parameter-efficient finetuning, CLP can learn steerable models that effectively trade-off conflicting objectives at inference time. Notably, this does not require training or maintaining multiple models to achieve different trade-offs between the objectives. Through an extensive set of experiments and ablations, we show that the CLP framework learns steerable models that outperform and Pareto-dominate the current state-of-the-art approaches for multi-objective finetuning.