Politique Linguistique Conditionnée : Un Cadre Général pour le Réglage Fin Pilotable à Objectifs Multiples

Conditioned Language Policy: A General Framework for Steerable Multi-Objective Finetuning

July 22, 2024

papers.authors: Kaiwen Wang, Rahul Kidambi, Ryan Sullivan, Alekh Agarwal, Christoph Dann, Andrea Michi, Marco Gelmi, Yunxuan Li, Raghav Gupta, Avinava Dubey, Alexandre Ramé, Johan Ferret, Geoffrey Cideron, Le Hou, Hongkun Yu, Amr Ahmed, Aranyak Mehta, Léonard Hussenot, Olivier Bachem, Edouard Leurent

cs.AI

papers.abstract

L'affinage basé sur les récompenses est crucial pour aligner les politiques linguistiques avec les comportements souhaités (par exemple, créativité et sécurité). Un défi majeur ici est de développer des modèles de langage pilotables qui arbitrent de manière flexible et efficace entre plusieurs objectifs (potentiellement conflictuels). Cet article présente la Politique Linguistique Conditionnée (Conditioned Language Policy, CLP), un cadre général pour l'affinage de modèles de langage sur plusieurs objectifs. S'appuyant sur des techniques issues de l'apprentissage multitâche et de l'affinage paramétrique efficace, CLP permet d'apprendre des modèles pilotables qui arbitrent efficacement entre des objectifs conflictuels au moment de l'inférence. Notamment, cela ne nécessite pas d'entraîner ou de maintenir plusieurs modèles pour obtenir différents compromis entre les objectifs. À travers un ensemble étendu d'expériences et d'ablations, nous montrons que le cadre CLP apprend des modèles pilotables qui surpassent et dominent au sens de Pareto les approches actuelles de l'état de l'art pour l'affinage multi-objectif.

English

Reward-based finetuning is crucial for aligning language policies with intended behaviors (e.g., creativity and safety). A key challenge here is to develop steerable language models that trade-off multiple (conflicting) objectives in a flexible and efficient manner. This paper presents Conditioned Language Policy (CLP), a general framework for finetuning language models on multiple objectives. Building on techniques from multi-task training and parameter-efficient finetuning, CLP can learn steerable models that effectively trade-off conflicting objectives at inference time. Notably, this does not require training or maintaining multiple models to achieve different trade-offs between the objectives. Through an extensive set of experiments and ablations, we show that the CLP framework learns steerable models that outperform and Pareto-dominate the current state-of-the-art approaches for multi-objective finetuning.