Gekonditioneerd Taalbeleid: Een Algemeen Kader voor Stuurbaar Multi-Doel Finetunen

Conditioned Language Policy: A General Framework for Steerable Multi-Objective Finetuning

July 22, 2024

Auteurs: Kaiwen Wang, Rahul Kidambi, Ryan Sullivan, Alekh Agarwal, Christoph Dann, Andrea Michi, Marco Gelmi, Yunxuan Li, Raghav Gupta, Avinava Dubey, Alexandre Ramé, Johan Ferret, Geoffrey Cideron, Le Hou, Hongkun Yu, Amr Ahmed, Aranyak Mehta, Léonard Hussenot, Olivier Bachem, Edouard Leurent

cs.AI

Samenvatting

Beloning-gebaseerd finetunen is cruciaal voor het afstemmen van taalbeleid op beoogde gedragingen (bijvoorbeeld creativiteit en veiligheid). Een belangrijke uitdaging hierbij is het ontwikkelen van stuurbare taalmodellen die op een flexibele en efficiënte manier meerdere (tegenstrijdige) doelstellingen afwegen. Dit artikel presenteert Conditioned Language Policy (CLP), een algemeen raamwerk voor het finetunen van taalmodellen op meerdere doelstellingen. Gebaseerd op technieken uit multi-task training en parameter-efficiënt finetunen, kan CLP stuurbare modellen leren die effectief tegenstrijdige doelstellingen afwegen tijdens inferentie. Opmerkelijk is dat dit niet vereist dat er meerdere modellen worden getraind of onderhouden om verschillende afwegingen tussen de doelstellingen te bereiken. Door middel van een uitgebreide reeks experimenten en ablatie-studies tonen we aan dat het CLP-raamwerk stuurbare modellen leert die de huidige state-of-the-art benaderingen voor multi-objectief finetunen overtreffen en Pareto-domineren.

English

Reward-based finetuning is crucial for aligning language policies with intended behaviors (e.g., creativity and safety). A key challenge here is to develop steerable language models that trade-off multiple (conflicting) objectives in a flexible and efficient manner. This paper presents Conditioned Language Policy (CLP), a general framework for finetuning language models on multiple objectives. Building on techniques from multi-task training and parameter-efficient finetuning, CLP can learn steerable models that effectively trade-off conflicting objectives at inference time. Notably, this does not require training or maintaining multiple models to achieve different trade-offs between the objectives. Through an extensive set of experiments and ablations, we show that the CLP framework learns steerable models that outperform and Pareto-dominate the current state-of-the-art approaches for multi-objective finetuning.