Politica Linguistica Condizionata: Un Quadro Generale per l'Affinamento Guidato Multi-Obiettivo

Conditioned Language Policy: A General Framework for Steerable Multi-Objective Finetuning

July 22, 2024

Autori: Kaiwen Wang, Rahul Kidambi, Ryan Sullivan, Alekh Agarwal, Christoph Dann, Andrea Michi, Marco Gelmi, Yunxuan Li, Raghav Gupta, Avinava Dubey, Alexandre Ramé, Johan Ferret, Geoffrey Cideron, Le Hou, Hongkun Yu, Amr Ahmed, Aranyak Mehta, Léonard Hussenot, Olivier Bachem, Edouard Leurent

cs.AI

Abstract

L'affinamento basato su ricompense è cruciale per allineare le politiche linguistiche con i comportamenti desiderati (ad esempio, creatività e sicurezza). Una sfida chiave in questo contesto è sviluppare modelli linguistici controllabili che bilancino in modo flessibile ed efficiente obiettivi multipli (e potenzialmente conflittuali). Questo articolo presenta la Politica Linguistica Condizionata (Conditioned Language Policy, CLP), un framework generale per l'affinamento di modelli linguistici su più obiettivi. Basandosi su tecniche di addestramento multi-task e affinamento efficiente dei parametri, CLP è in grado di apprendere modelli controllabili che bilanciano efficacemente obiettivi conflittuali durante l'inferenza. È importante notare che ciò non richiede l'addestramento o il mantenimento di più modelli per ottenere diversi compromessi tra gli obiettivi. Attraverso un'ampia serie di esperimenti e ablazioni, dimostriamo che il framework CLP apprende modelli controllabili che superano e dominano in senso Pareto gli approcci attuali all'avanguardia per l'affinamento multi-obiettivo.

English

Reward-based finetuning is crucial for aligning language policies with intended behaviors (e.g., creativity and safety). A key challenge here is to develop steerable language models that trade-off multiple (conflicting) objectives in a flexible and efficient manner. This paper presents Conditioned Language Policy (CLP), a general framework for finetuning language models on multiple objectives. Building on techniques from multi-task training and parameter-efficient finetuning, CLP can learn steerable models that effectively trade-off conflicting objectives at inference time. Notably, this does not require training or maintaining multiple models to achieve different trade-offs between the objectives. Through an extensive set of experiments and ablations, we show that the CLP framework learns steerable models that outperform and Pareto-dominate the current state-of-the-art approaches for multi-objective finetuning.