Bedingte Sprachrichtlinie: Ein allgemeines Rahmenwerk für lenkbare Multi-Objective Feinabstimmung

Conditioned Language Policy: A General Framework for Steerable Multi-Objective Finetuning

July 22, 2024

Autoren: Kaiwen Wang, Rahul Kidambi, Ryan Sullivan, Alekh Agarwal, Christoph Dann, Andrea Michi, Marco Gelmi, Yunxuan Li, Raghav Gupta, Avinava Dubey, Alexandre Ramé, Johan Ferret, Geoffrey Cideron, Le Hou, Hongkun Yu, Amr Ahmed, Aranyak Mehta, Léonard Hussenot, Olivier Bachem, Edouard Leurent

cs.AI

Zusammenfassung

Die belohnungsbasierte Feinabstimmung ist entscheidend, um Sprachrichtlinien mit beabsichtigtem Verhalten (z.B. Kreativität und Sicherheit) in Einklang zu bringen. Eine zentrale Herausforderung besteht darin, steuerbare Sprachmodelle zu entwickeln, die mehrere (konkurrierende) Ziele flexibel und effizient ausbalancieren können. In diesem Artikel wird das Conditioned Language Policy (CLP) vorgestellt, ein allgemeines Rahmenwerk zur Feinabstimmung von Sprachmodellen auf mehrere Ziele. Aufbauend auf Techniken des Multi-Task-Trainings und der parameter-effizienten Feinabstimmung kann CLP steuerbare Modelle lernen, die konkurrierende Ziele effektiv zum Zeitpunkt der Inferenz ausbalancieren können. Dies erfordert bemerkenswerterweise weder das Training noch das Aufrechterhalten mehrerer Modelle, um unterschiedliche Ausgewogenheiten zwischen den Zielen zu erreichen. Durch eine umfangreiche Reihe von Experimenten und Ablationen zeigen wir, dass das CLP-Rahmenwerk steuerbare Modelle lernt, die die aktuellen State-of-the-Art-Ansätze für die Feinabstimmung von mehreren Zielen übertreffen und Pareto-dominieren.

English

Reward-based finetuning is crucial for aligning language policies with intended behaviors (e.g., creativity and safety). A key challenge here is to develop steerable language models that trade-off multiple (conflicting) objectives in a flexible and efficient manner. This paper presents Conditioned Language Policy (CLP), a general framework for finetuning language models on multiple objectives. Building on techniques from multi-task training and parameter-efficient finetuning, CLP can learn steerable models that effectively trade-off conflicting objectives at inference time. Notably, this does not require training or maintaining multiple models to achieve different trade-offs between the objectives. Through an extensive set of experiments and ablations, we show that the CLP framework learns steerable models that outperform and Pareto-dominate the current state-of-the-art approaches for multi-objective finetuning.